me-chairКарл Вондрик

Доктор философии студент
Массачусетский Институт Технологий

Оригинал:
HOGgles: Visualizing Object Detection Features

Авторы: Карл Вондрик, Адитья Косла, Хамед Пирсиаваш, Томаш Малисиевич, Антонио Торралба
Массачусетский Институт Технологий

Устная презентация в ICCV 2013

Скачать журнальную статью

Скачать документ конференции
Скачать слайды или часы
Читайте об этом в новостях МИТ!

Введем алгоритмы визуализации функций пространства, используемые объектов детекторов. Инструменты в этой статье позволит человеку поставить на «HOG очки» и воспринимать визуальный мир, как детектор объект HOG основе его видит.

Проверьте эту страницу для некоторых из наших экспериментах, и читать нашу газету для получения полной информации. Код доступен, чтобы сделать свои собственные визуализации.

Код

Мы выпустили быстрый и простой функции MATLAB invertHOG() , чтобы инвертировать функции HOG.Использование легко:

>> feat = features(im, 8);
>> ihog = invertHOG(feat);
>> imagesc(ihog);

Выше, должны инвертировать любой разумного размера функцию HOG в соответствии секунду на современном настольном компьютере.

Код может быть загружен здесь , или вы можете проверка наш репозиторий Github. Установка проста, но не забудьте прочитать README.

Обзор

Этот проект вводит инструменты, чтобы визуализировать художественных пространств. Поскольку большинство художественных пространств слишком высокой размерной для людей, непосредственно проверить, мы представляем алгоритмы, чтобы инвертировать функций дескрипторов обратно в естественное изображение. Мы обнаружили, что эти инверсии обеспечить точную и интуитивно визуализации удобства дескрипторов обычно используемых при обнаружении объекта. Ниже мы показываем пример визуализации для HOG:

HOG [1] Обратные (связь) Оригинал

Почему мой детектор неудачен?

Ниже мы покажем, высокий обнаружения забил из детектора объекта с особенностями конца и линейной SVM классификатора обученных на языке Паскаль. Почему наша детектор думаю, что морская вода выглядит как автомобиль?

Наши визуализации предложить объяснение. Ниже мы покажем, выход из нашей визуализации об особенностях HOG для ложного обнаружения автомобиля. Эта визуализация показывает, что, в то время как не существует четко никакие автомобили в оригинальном изображении, есть машина скрывается в дескрипторе HOG.

Особенности HOG увидеть несколько иной визуальный мир, чем то, что люди видят, и визуализируя это пространство, мы можем получить более интуитивное понимание наших объектов детекторов.

Визуализация Топ обнаружений

Мы визуализировали некоторые высокие скоринга обнаружений из деформируемого частей модели. Можете ли вы угадать, какие ложные сигналы тревоги? Нажмите на изображение ниже, чтобы выявить соответствующий патч RGB. Вы можете быть удивлены!


Человек

Кресло

Автомобиль

Что HOG видит?

Инверсия HOG показывает миру, что возразить детекторы см. Левый показывает человека, стоящего в темной комнате.Если мы вычисляем HOG на этом изображении и инвертировать его, ранее темный сцена за человека возникает. Обратите внимание на структуру стены, фонарный столб, и стул в правом нижнем углу.

Человеческое зрение HOG Видение

Глаз Стекло

Наведите курсор вокруг HOG символа ниже, чтобы выявить наш визуализации.

зеленый монстр граффити на Kotzian

Визуализация извлеченные Модели

Наши обратные позволяют визуализировать узнали объектные модели. Ниже мы покажем, несколько деформируемых частей модели. Обратите внимание на структуру, которая выходит с нашего визуализации.

Первый ряд: машина, человек, бутылка, велосипед, мотоцикл, растение в горшке. Второй ряд: поезд, автобус, лошади, телевизор, кресло.

Восстановление цвета

До сих пор мы только перевернутый оттенках серого реконструкций. Можем ли мы восстановить цветные изображения, а?

Для более цветовых инверсий см ли HOG Захват цвет? страницу.

Видео

HOGgles

Если вы приехали посетить наш лабораторию, не забудьте проверить наш интерактивный HOGgles демо!

Участники внутри черного ящика может увидеть только наш HOG визуализацию с внешним миром, когда они пытаются передвигаться окружающей среды. Как хорошо вы можете увидеть в HOG пространстве?

Ссылки

Если вы используете этот инструмент в вашем исследовании, пожалуйста, привести нашу ICCV 2013 документ:

К. Вондрик, А. Косла, Т. Малисиевич, А. Торралба. «HOGgles: Визуализация объектов обнаружения объекта» Международная конференция по компьютерного зрения (ICCV), Сидней, Австралия, декабрь 2013 году.

@article{vondrick2013hoggles,
title={{HOGgles: Visualizing Object Detection Features}},
author={Vondrick, C. and Khosla, A. and Malisiewicz, T. and Torralba, A.},
journal={ICCV},
year={2013}
}

Благодарности

Мы хотели бы поблагодарить Хамед Пирсиаваш, Джозеф Лим, и весь MIT CSAIL компьютерного зрения группы за их ценные замечания и предложения, которые помогли направить этот проект.

Ссылки

  1. Н. Далаль и В. Триггс. Гистограммы ориентированных градиентов для обнаружения человека. В CVPR 2005 года.
  2. П. Вейнзапфель, К. Жегу, П. Перес. Восстановление изображения из своих местных дескрипторов. В CVPR 2011 года.
  3. Е. Д’Ангело, А. Алахи, П. Вандергейнст. Вне Биты: Реконструкция изображений с местными бинарных дескрипторов.ICPR 2012.

«Реальный рейс открытия состоит не в поиске новых ландшафтов, но в том, новыми глазами.»
— Марсель Пруст