Существует класс задач, в которых особую важность приобретает информация^ структуре и движении объектов сложной сцены (видеонаблюдение в закрытых помещениях, в местах большого скопления людей, управление движением робототехнических комплексов, наблюдение за движением транспортных средств и т.д.). Последовательности изображений являются сложным информационным ресурсом, структурированным в пространстве и во времени и объединяющим исходную информацию в виде многомерных сигналов, форму ее представления в компьютере и физические модели динамических объектов, явлений, процессов. Новые технические возможности цифровой обработки изображений позволяют частично учитывать такую специфику изображений, используя одновременно достижения когнитивной теории человеческого восприятия зрительных образов.

Анализ пространственно-временного объема данных позволяет выявлять не только статические, но и динамические признаки объектов наблюдения. В этом случае задачу распознавания можно определить как классификацию совокупностей состояний или как классификацию траекторий, решение которой не может быть найдено классическими методами распознавания, т.к. временные переходы^ могут порождать,преобразования изображений, не описываемые известными аналитическими зависимостями; Также наряду с задачей распознавания динамических объектов возникают задачи распознавания активных действий и событий, например, для выявления несанкционированных действий в местах скопления людей или определении жанра сцены для индексации в мультимедийных базах данных. Если рассматривать задачу распознавания объектов и событий по последовательностям изображений в виде единого процесса, то наиболее целесообразным является иерархический подход с элементами параллельной обработки на каждом уровне.

Совершенствование технических средств сбора и воспроизведение информации в виде статических изображений (фотографий) и видеопоследовательностей требует дальнейшего развития методов и алгоритмов их обработки, анализа ситуаций и распознавания изображенных объектов. Начальная теоретическая постановка задачи распознавания изображений относится к 1960-1970 гг. и отражена в ряде работ известных авторов . Постановка задачи распознавания изображений может варьироваться от собственно задачи распознавания объектов, задач анализа сцен до задач понимания изображений и проблем машинного зрения. При этом системы принятия интеллектуальных решений, основанные на методах распознавания образов и изображений, используют входную информацию комплексного типа. К ней относятся как изображения, полученные в широком волновом диапазоне электромагнитного спектра (ультрафиолетовом, видимом, инфракрасном и др.), так и информация в виде звуковых образов и локационных данных. Несмотря на различную физическую природу, такую информацию можно представить в виде реальных изображений объектов и специфических изображений. Радиометрические данные - это плоские изображения сцены, представленные в перспективной или ортогональной проекции. Они формируются путем измерения интенсивности электромагнитных волн определенного спектрального диапазона, отраженных или излучаемых объектами сцены. Обычно используют фотометрические данные, измеренные в видимом спектральном диапазоне, - монохроматические (яркостные)* или цветные изображения: Локационные данные - это пространственные координаты наблюдаемых точек сцены. Если координаты измерены для всех точек сцены, то такой массив локационных данных можно назвать изображением глубины сцены. Существуют упрощенные модели изображений (например, модели аффинной проекции, представленные слабоперспективными, пара-перспективными, ортогональными и параллельными проекциями), в которых глубина сцены считается постоянной величиной, и локационное изображение сцены не несет полезной информации . Звуковая информация носит в данном случае вспомогательный событийный характер.

Наиболее оперативно измеряются фотометрические данные. Локационная информация, как правило, вычисляется по данным, получаемым от специальных устройств (например, лазерного дальномера, радиолокатора) или с использованием стереоскопического метода анализа яркостных изображений. Вследствие трудностей оперативного получения локационных данных (особенно для сцен с быстро изменяющейся формой визуальных объектов) преобладают задачи описания сцены по одному визуальному изображению, т.е. задачи монокулярного зрительного восприятия сцены. В общем случае полностью определить геометрию сцены по одному изображению невозможно. Только при определенных ограничениях для достаточно простых модельных сцен и наличии априорных сведений о пространственном расположении объектов удается построить полное трехмерное описание по одному изображению . Одним из способов выхода из данной ситуации является обработка и анализ видеопоследовательностей, полученных от одной или нескольких видеокамер, установленных неподвижно или перемещающихся в пространстве.

Таким образом, изображения являются основной формой представления информации о реальном мире, и требуется дальнейшее развитие методов преобразования и семантического анализа как отдельных изображений, так и видеопоследовательностей. Одним из важнейших направлений разработки таких интеллектуальных систем является автоматизация выбора методов описания и преобразования изображений с учетом их информационной природы и целей распознавания уже на начальных этапах обработки изображений.

Первые работы исследователей из США {Louisiana State University, Carnegie Mellon University, Pittsburgh), Швеции ("Computational Vision and Active Perception Laboratory {CVAP), Department of Numerical Analysis and Computer Science), Франции {INRIA), Великобритании (University of Leeds), ФРГ (University of Karlsruhe), Австрии {University of Queensland), Японии, Китая {School of Computer Science, Fudan University) по обработке последовательностей изображений и распознаванию динамических объектов были опубликованы в конце 1980-х гг. Позже аналогичные работы стали появляться и в России: в Москве (МГУ, МАИ (ГТУ), МФТИ, ГосНИИ АС), С.Петербурге (СПбГУ, ГУАП, ФГУП ГОИ, ЛОМО), Рязани (РГРТУ), Самаре (СГАУ), Воронеже (ВГУ), Ярославле (ЯрГУ), Кирове (ВГУ), Таганроге (ТТИ ЮФУ), Новосибирске (НГУ), Томске (ТГПУ), Иркутске (ИрГУ), Улан-Удэ (ВСГТУ) и др. городах. Следует отметить особый вклад таких выдающихся российских ученых, занимающихся в данной области, как академик РАН, д.т.н. Ю. И. Журавлев, член-корреспондент РАН, д.т.н. В. А. Сойфер, д.т.н. Н. Г. Загоруйко, д.т.н. Л. М. Местецкий, д.т.н. Б. А. Алпатов и др. На сегодняшний день достигнуты значительные успехи при построении систем видеонаблюдения, систем аутентификации личности по изображениям и т.д. Однако существуют нерешенные проблемы при распознавании динамических образов из-за сложности и многообразия поведения объектов реального мира. Таким образом, данное направление нуждается в совершенствовании моделей, методов и алгоритмов распознавания динамических объектов и событий по последовательностям изображений в различных диапазонах электромагнитного излучения, что позволит разрабатывать системы видеоиаблю-дения на качественно новом уровне.

Целью диссертационной работы является повышение эффективности распознавания динамических объектов, их активных действий и событий в сложных сценах по последовательностям изображений для систем наружного и внутреннего видеонаблюдения.

Поставленная цель определила необходимость решения следующих задач:

Провести анализ методов оценки движения и нахождения признаков движения объектов по набору последовательных изображений, методов сегментации динамических объектов и семантического анализа сложных сцен, а также подходов к построению систем распознавания и слежения за динамическими объектами различного целевого назначения.

Разработать модели распознавания статических и динамических образов, основываясь на иерархической процедуре обработки временных рядов, в частности, последовательностей изображений.

Разработать метод оценки движения динамических структур по пространственно-временной информации, полученной в различных диапазонах электромагнитного излучения, позволяющий выбирать методы сегментации в зависимости от характера движения и, тем самым, выполнять адаптивное распознавание динамических образов.

Создать модель многоуровневого движения динамических структур в сложной сцене, позволяющую на основе полученных одометрических данных строить траектории движения динамических структур и выдвигать гипотезы о существовании визуальных объектов на основе анализа предыстории движений.

Разработать комплексный алгоритм сегментации, учитывающий совокупность выявленных признаков динамических структур при произвольных направлениях перемещений и перекрытий проекций объектов, основываясь на модели многоуровневого движения в сложных сценах.

Разработать метод распознавания динамических образов, представленных в терминах формальной грамматики и видеографа сцены, на основе метода коллективного принятия решений, а также методы распознавания активных действий и событий в сложной сцене, использующие графы активных действий и событий (расширяющие видеограф сложной сцены), и байесовскую сеть.

На основе разработанных методов и моделей спроектировать экспериментальные системы различного назначения; предназначенные для обработки последовательностей изображений объектов, характеризующихся фиксированным и произвольным набором 2£>-проекций, и-распознавания динамических образов в. сложных сценах.

Методы, исследований. При выполнении диссертационной работы использовались методы теории распознавания образов, дескриптивной теории распознавания изображений, теории обработки сигналов, методы векторного анализа и тензорного исчисления, а также теория групп, теория формальных грамматик.

Научная новизна диссертационной работы состоит в следующем:

1. Построена новая модель преобразования динамических изображений, отличающаяся расширенными иерархическими уровнями сегментации (по локальным и глобальным векторам движения) и распознавания (объектов и их активных действий), позволяющая находить целевые признаки для статических сцен с движущимися объектами и динамических сцен на, основе понятия максимального динамического инварианта.

2. Расширена дескриптивная теория распознавания изображений введением четырех новых принципов: учет цели распознавания на начальных стадиях анализа, распознавание поведения динамических объектов, оценка предыстории, переменное количество объектов наблюдения, что позволяет повысить качество распознавания движущихся объектов за счет повышения информативности исходных данных.

3. Впервые разработан адаптивный пространственно-временной метод оценки движения в синхронных последовательностях видимого и инфракрасного диапазонов электромагнитного излучения, позволяющий извлекать признаки движения на различных иерархических уровнях, сочетая достоинства обоих типов последовательностей изображений.

4. Разработана новая модель многоуровневого движения; позволяющая проводить декомпозицию сцены на отдельные уровни; не > ограничивающаяся; общепринятым разделением на передний план и фон, что позволяет выполнять более достоверную сегментацию изображений объектов в; сложных перспективных сценах.

5: Обоснован? и построен; новый; обобщенный алгоритм сегментации динамических объектов; с, применением, множества признаков^ включающих предыстории поведения; и позволяющий отслеживать как динамику отдельных визуальных объектов, так и взаимодействия объектов в сцене (перекрытия проекций; появление/исчезновение объектов из поля зрения видеодатчика) на основе групповых преобразований; и впервые предложенном анализе общей части проекций объекта (из двух соседних кадров) с применением интегральных и инвариантных оценок.

6. Модифицирован метод коллективного принятия решений, отличающийся нахождением признаков межкадровых проекций объекта и позволяющий учитывать предысторию наблюдений для распознавания активных действий и событий на основе байесовской сети, а также предложены четыре вида псевдо-расстояний для нахождения меры сходства v динамических образов с эталонными динамическими образами в зависимости от представления динамических признаков.

Практическая значимость. Предложенные в диссертационной работе методы и алгоритмы предназначены для практического применения при"мониторинге автотранспортных средств при многополосном движении в рамках государственного проекта «Безопасный город», в системах автоматизированного контроля за различными технологическими производственными процессами по видеопоследовательностям, в системах наружного видеонаблюдения и видеонаблюдения в закрытых помещениях, а также в системах иденл тификации объектов на аэрофотоснимках и распознавании ландшафтных изображений. На основе диссертационных исследований разработаны программные комплексы обработки и распознавания динамических объектов, применяемые в различных сферах деятельности.

Реализация результатов работы. Разработанные программы зареги- стрированы в Российском реестре программ для ЭВМ: программа «Сегментация изображений рукописного текста (SegPic)» (свидетельство №2008614243, г. Москва, 5 сентября 2008 г.); программа «Определение движения (MotionEstimation)» (свидетельство №2009611014, г. Москва, 16 февраля- 2009 г.); программа «Локализация лица (FaceDetection)» (свидетельство №2009611010, г. Москва, 16 февраля-2009 г.); программа «Система наложения визуальных природных эффектов на статическое изображение (Natural effects imitation)» (свидетельство №2009612794, г. Москва, 30 июля 2009 г.); программа «Визуальное детектирование дыма (SmokeDetection)» (свидетельство №2009612795, г. Москва, 30 июля 2009 г.); «Программа визуальной регистрации государственных номерных знаков автотранспортных средств при многопоточном движении (FNX CTRAnalyzer)» (свидетельство №2010612795, г. Москва, 23 марта 2010 г.), программа «Нелинейное улучшение изображений (Nonlinear image enhancement)» (свидетельство №2010610658, г. Москва, 31 марта 2010 г.

Получены акты о передаче и использовании алгоритмического и программного обеспечения для распознавания корпусов холодильников на сборочной линии (ОАО КЗХ «Бирюса», г. Красноярск), для идентификации изо бражений объектов на ландшафтных изображениях (Концерн радиостроения «Вега», ОАО КБ «Луч», г. Рыбинск Ярославской области), для сегментации лесной растительности по набору последовательных аэрофотоснимков (ООО «Альтекс Геоматика», г. Москва), для обнаружения пластин государственных регистрационных знаков автотранспортных средств в видеопоследовательностях при многопоточном движении и повышении качества их отображения^ (УГИБДД ГУВД по Красноярскому краю, г. Красноярск).

Разработанные алгоритмы и программное обеспечение используются в учебном процессе при проведении занятий по дисциплинам «Интеллектуальная обработка данных», «Компьютерные технологии в науке и образовании», «Теоретические основы цифровой обработки изображений», «Распознавание образов», «Нейронные сети», «Алгоритмы обработки изображений», «Алгоритмы обработки видеопоследовательностей», «Анализ сцен и машинное зрение» в Сибирском государственном аэрокосмическом университете имени академика М.Ф. Решетнева (СибГАУ).

Достоверность полученных в диссертационной работе результатов обеспечивается корректностью используемых методов исследования^ математической строгостью выполненных преобразований, а также соответствием сформулированных положений- и выводов результатам их экспериментальной проверки.

Основные положения, выносимые на защиту:

1. Модель обработки и распознавания динамических образов в сложных сценах, существенно расширенная" иерархическими уровнями сегментации и распознавания не только объектов, но и их активных действий.

2. Расширение дескриптивной теории распознавания изображений для временных рядов (последовательностей изображений) за счет повышения информативности анализируемых данных не только в пространственной области, но и по временной составляющей.

3. Адаптивный пространственно-временной метод оценки движения на. основе тензорных представлений локальных ЗИ объемов в синхронных последовательностях видимого и инфракрасного диапазонов электромагнитного излучения.

4. Модель многоуровневого движения в сложных сценах, расширяющая декомпозицию перспективных сцен на отдельные уровни для более достоверного анализа траекторий движения объектов.

5. Обобщенный алгоритм сегментации динамических объектов, позволяющий на основе групповых преобразований и предложенных интегральных и инвариантных оценок выявлять перекрытия проекций объектов, появление/исчезновение объектов из поля зрения видеодатчика.

6. Методы распознавания динамических образов на основе модифицированного метода коллективного принятия решений и нахождения псевдорасстояний в метрических пространствах, а также активных действий и событий в сложных сценах.

Апробация работы. Основные положения и результаты диссертационных исследований докладывались и обсуждались на 10 международной конференции «Pattern Recognition and Image Analysis: Modern Information Technologies», (S.-Petersburg, 2010), международном конгрессе «Ultra Modern Telecommunications and Control Systems ICUMT2010» (Moscow, 2010); XII международном симпозиума по непараметрическим методам в кибернетике и системному анализу (Красноярск, 2010), II международном симпозиуме «Intelligent Decision-Technologies - IDT 2010» (Baltimore, 2010), III международной конференции. «Automation, Control? and Information Technology - AOIT- ICT"2010» (Novosibirsk, 2010), 10-й, 11-й и 12-й международных конференциях и выставках «Цифровая обработка сигналов и ее применение» (Москва, 2008 - 2010 гг.), X международной научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2009 г.), IX международной научно-технической конференции «Кибернетика и высокие технологии XXI века» (Воронеж, 2008), всероссийской конференции «Модели и методы обработки изображений» (Красноярск, 2007 г.), на X, XI и XIII международных научных конференциях «Ре-шетневские чтения» (Красноярск, 2006, 2007, 2009 гг.), а также на научных семинарах Государственного университета аэрокосмического приборостроения (С.-Петербург, 2009 г.), Института вычислительного моделирования СО

РАН (Красноярск, 2009 г.), Института систем обработки изображений РАН (Самара, 2010).

Публикации. По результатам диссертационного исследования опубликовано 53 печатных работы, из них 1 монография, 26 статей (из них 14 статей - в изданиях, включенных в список ВАК, 2 статьи - в изданиях, перечисленных в «Thomson Reuters: Science Citation Index Expanded / Conference Proceedings Citation Index»), 19 тезисов докладов, 7 свидетельств, зарегистрированных в Российском реестре программ для ЭВМ, а также 3 отчета по НИР.

Личный вклад. Все основные результаты, изложенные в диссертации, включая постановку задач и их математические и алгоритмические решения, получены автором лично, или выполнены под его научным руководством и при непосредственном участии. По материалам работы были защищены две диссертации на соискание ученой степени кандидата технических наук, при выполнении которых автор был официальным научным руководителем.

Структура работы. Работа состоит из введения, шести глав, заключения, библиографического списка. Основной текст диссертации содержит 326 страниц, изложение иллюстрируется 63 рисунками и 23 таблицами. Библиографический список включает 232 наименования.

6.7 Выводы по главе

В" данной главе подробно рассмотрена структура и основные функции экспериментального программного комплекса «ЗРОЕЛ», у.1.02, который; выполняет системную иерархическую обработку последовательностей изображений вплоть до высших уровней распознавания объектов и событий. Он является автоматизированной системой, требующей участия человека для обучения и настройки графов, сетей и классификаторов. Ряд низкоуровневых модулей системы работает в автоматическом режиме. Структура программного комплекса такова, что возможна модификация модулей без оказания влияния на другие модули системы. Представлены функциональные схемы основных модулей системы: модуля, предварительной обработки, модуля оценки движения, модуля сегментации, модуля распознавания объектов и модуля распознавания активных действий.

Экспериментальные исследования на основе данного программного комплекса проводились на нескольких видеопоследовательностях и инфракрасных последовательностях из тестовой базы «OTCBVS^07», на тестовых видеопоследовательностях «Hamburg taxi», «Rubik cube». «Silent», а также на собственном видеоматериале. Тестировались пять методов оценки движения. Экспериментально было показано, что метод сопоставления блоков и предложенный метод для инфракрасной последовательности показывают близкие значения и являются наименее точными. Предложенный метод для видеопоследовательности и метод слежения за точечными особенностями демонстрируют близкие результаты. При этом разработанный тензорный подход требует меньшего объема компьютерных вычислений по сравнению с методом слежения за точечными особенностями. Совместное использование синхронизированных видеопоследовательности и инфракрасной последовательности целесообразно использовать для нахождения модуля вектора скорости и в условиях пониженного освещения сцены.

Для распознавании визуальных объектов применялись четыре вида псевдо-расстояний (псевдо-расстояния Хаусдорффа, Громова-Хаусдорффа, Фреше, естественное псевдо-расстояние) для нахождения меры сходства входных динамических образов с эталонными динамическими образами (в зависимости от представления динамического признака - множества числовых характеристик, множества векторов, множества функций). Они показали свою состоятельность для образов с допустимыми морфологическими преобразованиями. Использовались интегрированные нормализованные оценки формы контура Кс общей части проекции объекта между условно соседними кадрами и площадь общей части 5е и инвариантная оценка - корреляционная функция общих частей проекций Fcor. Применение модифицированного метода коллективного принятия решений позволяет «отбросить» неудачные наблюдения входных образов (случаи перекрытия проекций объектов, искажения сцены от источников освещения и т. д.) и выбрать наиболее подходящие наблюдения. Эксперименты показали, что применение модифицированного метода коллективного принятия решения повышает точность распознавания в среднем на 2,4-2,9 %.

Экспериментальные результаты оценки движения, сегментации и распознавания объектов были получены на тестовых последовательностях изображений («Hamburg taxi», «Rubik cube». «Silent», видеопоследовательности и инфракрасные последовательности из тестовой базы «ОТСВVS"07»). Для распознавания активных действий людей использовались примеры из тестовых баз «PETS», «CAVIAR», «VACE». Характер тестовой визуальной последовательности влияет на показатели. Хуже распознаются объекты, осуществляющие вращательное движение («Rubik cube»), лучше - техногенные объекты небольших размеров («Hamburg taxi», «Видео 1»). Наилучшие результаты показывает распознавание по двум последовательностям. Также лучшие экспериментальные результаты достигались при распознавании периодических активных действий людей, не находящихся в группах (хождение, бег, поднятие рук). Ложные срабатывания обусловлены засветкойш наличием теней, в ряде мест сцены.

В ^завершении* шестой главы были рассмотрены такие прикладные"проекты, как «Визуальная регистрация государственных номерных знаков автотранспортных средств при многопоточном движении», «Система идентификации моделей корпусов холодильников по изображениям», «Алгоритмы.обработки и-сегментации, ландшафтных изображений. Идентификация объектов». Алгоритмическое и. программное обеспечение передано заинтересованным, организациям: Результаты тестовой эксплуатации показали работоспособность программного обеспечения, разработанного на основе предложенных в диссертационной работе моделей и методов.

ЗАКЛЮЧЕНИЕ

В диссертационной работе была поставлена и решена важная научно-техническая проблема обработки пространственно-временных данных, полученных из последовательностей видимого и инфракрасного диапазонов электромагнитного излучения, и распознавания динамических образов в сложных сценах. Система иерархических методов обработки и извлечения признаков из пространственно-временных данных представляет собой методологическую основу решения прикладных задач в области видеонаблюдения.

Во введении обоснована актуальность диссертационной работы, сформулирована цель и поставлены задачи исследования, показана научная новизна и практическая ценность выполненных исследований, представлены основные положения, выносимые на защиту.

В первой главе показано, что визуальные объекты в видеопоследовательностях характеризуются более многомерным вектором признаков, чем" образы в классической постановке задачи распознавания статических изображений. В диссертационной работе вводятся уточняющие этапы на среднем и высшем уровнях обработки, которые имеют существенное значение для динамических изображений.

Построена классификация основных типов задач распознавания для статических изображений, статических сцен с элементами движения и последовательностей изображений, которая отражает исторический характер развития математических методов в данной области. Проведен подробный анализ методов оценки движения, алгоритмов сегментации движущихся объектов, методов интерпретации событий в сложных сценах.

Рассмотрены существующие коммерческие аппаратно-программные комплексы в таких областях, как мониторинг транспортных средств различного назначения, обработка спортивных видеоматериалов, обеспечение безопасности (распознавание лиц, несанкционированное проникновения людей на охраняемую территорию), Также анализируются исследовательские разработки для систем видеонаблюдения.

В завершении главы 1 приведена постановка задачи пространственно-временной обработки последовательностей изображений, представленная в виде трех уровней и пяти этапов обработки и распознавания визуальной информации по последовательностям изображений.

Во второй главе диссертации разработаны формальные модели обработки и распознавания объектов по их статическим изображениям и последовательностям изображений. Построены допустимые отображения в пространстве изображений и пространстве признаков для прямой задачи и обратной задачи. Приведены правила построения инвариантных решающих функций и обобщенного максимального динамического инварианта. При распознавании траектории различных образов в многомерном пространстве признаков могут пересекаться. При пересечении проекций объектов нахождение обобщенного максимального динамического инварианта становится еще более трудной, а в некоторых случаях и невозможной задачей.

Рассмотрены основные принципы дескриптивной теории распознавания изображений, в основу которой легли регулярные методы выбора и синтеза алгоритмических процедур обработки информации при распознавании изображений. Предложены дополнительные принципы, расширяющие дескриптивную теорию для динамических изображений: учет цели распознавания на начальных стадиях обработки последовательности изображений, распознавание поведенческих ситуаций динамических объектов, оценка предыстории динамических объектов, переменное количество объектов наблюдения в сложных сценах.

Подробно рассмотрена проблема поиска целевых признаков для анализа последовательностей изображений в зависимости от типа съемки (в случае одноракурсной съемки), движения видеодатчика и наличия движущихся объектов в зоне видимости. Приведены описания четырех ситуаций в пространстве признаков по мере усложнения задачи.

В третьей главе сформулированы этапы обработки последовательностей изображений и распознавания объектов, активных действий, событий и жанра сцены. Этапы отражают последовательный иерархический характер обработки визуальной информации. Также представлены условия и ограничения иерархических методов пространственно-временной обработки последовательностей изображений.

Классификация динамических регионов изображения производится путем анализа собственных значений 31) структурного тензора, собственные векторы которого определяются по локальным смещениям интенсивностей изображений соседних кадров и используются для оценки локальных ориен-таций динамических регионов. Обоснован новый метод оценки движения в пространственно-временном объеме данных видимого и инфракрасного диапазонов излучения на основе тензорного подхода. Рассмотрена возможность применения пространственно изменяемого ядра, адаптивного к размерам и ориентации окружения точки. Адаптация окружения, вначале имеющего форму круга, а затем превращающегося после 2-3 итераций в форму ориентированного эллипса позволяет улучшить оценку ориентированных структур на изображении. Такая стратегия улучшает оценки градиентов в пространственно-временном наборе данных.

Оценка локальных параметров движения производится путем вычисления геометрических примитивов и особенных точек локального региона. Таким образом, оценка локальных признаков движения регионов является основой выдвижения последующих гипотез принадлежности визуальных объектов к тому или иному классу. Использование синхронных видеопоследовательности и инфракрасной последовательности позволяет улучшить результаты сегментации движущихся регионов на изображении и нахождения локальных векторов движения.

Показано, что оценить границы в цветных изображениях можно на основе многомерных градиентных методов, построенных по всем направлениям в каждой точке границы, векторными методами с использованием порядковых статистиках о цветном изображении, а также применением тензорного подхода в рамках многомерных градиентных методов. Способы уточнения контурной информации имеют существенное значение для регионов с произвольным количеством допустимых проекций.

В четвертой главе построена многоуровневая модель движения на основе структур движения, отражающая динамику объектов реальных сцен и расширяющая двухуровневое представление сцены, разделяемой на объекты интереса и неподвижный фон.

Исследуются модели движения объектов на плоскости, основанные на теории компактных групп Ли. Представлены модели для проективного преобразования и разновидностей моделей аффинного преобразования. Такие преобразования хорошо описывают структуры движения с ограниченным количеством проекций (техногенные объекты). Представление структур с неограниченным количеством проекций (антропогенные объекты) аффинными или проективными преобразованиями сопровождается рядом дополнительных условий (в частности, требование удаленности объектов от видеодатчика, малоразмерные объекты и т. д.). Приводятся определения и теорема, доказанная Л. С. Понтрягиным, на основании которых удалось найти внутренний автоморфизм групповых координат, описывающих некоторый объект с точностью до сдвигов между соседними кадрами. Величина сдвигов опреде1 ляется по методу оценки движения межкадровой разницы, разработанному в 3" главе.

Построено расширение допустимых переходов между группами преобразований в- силу двойственности природы 2£)-изображений (отображение изменений проекции отдельного объекта и визуальное пересечение нескольких объектов: (взаимодействие объектов)). Найдены, критерии, которые при изменении групп преобразований фиксируют активные действия и события, в сцене, а именно, интегрированные оценки формы контура Кс общей части проекции между условно соседними кадрами и площадь общей части 5е и инвариантные оценки - корреляционная функция общих частей проекций Рсог и структурные константы группы Ли с"д, которые позволяют оценить степень изменчивости и выявить характер движения наблюдаемых объектов.

Также построена модель предыстории движения объектов в последовательностях изображений, включающая временные ряды траекторий перемещения, изменения формы объекта при его движении в 3£>-пространстве, а также изменения формы объекта, связанные с взаимодействием объектов в сцене и появлением/исчезновением объекта из поля зрения датчика (используется для распознавания активных действий и событий в сцене). 1

Разработан обобщенный алгоритм сегментации объектов в сложных сценах, учитывающий сложные случаи сегментации (перекрытия изображений, появление и исчезновение объектов из поля зрения камеры, движение на камеру), который включает три подэтапа: предсегментацию, сегментацию и пост-сегментацию. Для каждого подэтапа сформулированы задачи, исходные и выходные данные, разработаны блок-схемы алгоритмов, позволяющие проводить сегментацию сложных сцен, используя преимущества синхронных последовательностей из различных диапазонов излучения.

В пятой главе рассматривается процесс распознавания динамических образов, использующий формальную грамматику, видеограф сцены и модифицированный метод коллективного принятия решений. Динамическая сцена с многоуровневым движением обладает изменяющейся во времени структурой, поэтому целесообразно использовать структурные методы распознавания. Предложенная трехуровневая контекстная грамматика распознавания сложных сцен с многоуровневым движением объектов реализует две задачи: задачу синтаксического анализа последовательности изображений и задачу синтаксического анализа сцены.

Более наглядным средством семантического описания сцены является видеограф, построенный по методу иерархического группирования. На основе комплексных признаков низшего уровня формируются локальные пространственные структуры, устойчивые во времени, локальные пространственные объекты и строится видеограф сцены, включающий распознанные пространственные объекты, совокупность присущих им действий, а также пространственно-временные связи между ними.

Модифицированный метод коллективного принятия решений основан на двухуровневой процедуре распознавания. На первом уровне осуществляется распознавание принадлежности изображения той или иной области компетентности. На втором уровне вступает в силу решающее правило, компетентность которого максимальна в заданной области. Построены выражения для псевдо-расстояний при нахождении меры сходства входных динамических образов с эталонными динамическими образами в зависимости от представления динамических признаков - множества числовых характеристик, множества векторов, множества функций.

При распознавании событий видеограф сложной сцены расширяется до видеографа событий: Построена объектно-зависимая модель динамического объекта. В качестве функции соответствия используются простейшие классификаторы в пространстве признаков (например, по методу ^-средних), т. к. сопоставление осуществляется по ограниченному множеству шаблонов, ассоциированных с ранее опознанным объектом. Рассмотрены способы формирования шаблонов проекций визуальных объектов.

Видеограф событий строится на основе сетей Маркова. Рассмотрены способы выявления активных действий агентов, а также порядок построения и разрезания видеографа событий для распознавания, событий в сцене. При этом для каждого события строится своя модель, которая обучается на тестовых примерах. Обнаружение событий сводится к кластеризации последовательно выполняемых активных действий на основе байесовского подхода. Выполняется рекурсивное разрезание- матрицы весовых коэффициентов во входной видеопоследовательности и сравнение с эталонными, событиями, полученными на этапе обучения. Данная информация является* исходной для определения жанра сцены и при необходимости индексирования видеопоследовательности в базе данных. Разработана схема понимания и интерпретации изображений и видеоматериалов для индексирования в мультимедийных Интернет-базах.

В шестой главе представлено описание экспериментального программного комплекса «SPOER», v.l.02 по обработке последовательностей изображений и распознаванию движущихся объектов и событий. Он выполняет системную иерархическую обработку последовательностей изображений вплоть до высших уровней распознавания объектов и событий. Он является автоматизированной системой, требующей участия человека для обучения и настройки графов, сетей и классификаторов. Ряд низкоуровневых модулей системы работает в автоматическом режиме.

В экспериментальных исследованиях, проведенных с помощью программного комплекса «SPOER», v.l.02, использовались видеопоследовательности и инфракрасные последовательности изображений из тестовой базы «OTCBVS"07», тестовые видеопоследовательности «Hamburg taxi», «Rubik cube». «Silent» и собственные видеоматериалы. Тестировались пять методов оценки движения. Предложенный метод для видеопоследовательности демонстрирует наиболее точные результаты и требует меньшего объема компьютерных вычислений по сравнению с другими методами. Совместное использование синхронизированных видеопоследовательности и инфракрасной последовательности целесообразно при нахождении модулей векторов скоростей в условиях пониженного освещения сцены.

Для распознавании визуальных объектов с допустимыми морфологическими преобразованиями проекций использовались интегрированные нормализованные оценки формы контура Кс общей части проекции объекта между условно соседними кадрами и площадь общей части 5е и инвариантная оценка - корреляционная функция общих частей проекций Fcor. Применение модифицированного метода коллективного принятия решений позволяет «отбросить» неудачные наблюдения входных образов (случаи перекрытия проекций объектов, визуальные искажения сцены от источников освещения и т. д.) и выбрать наиболее подходящие наблюдения. Эксперименты показали, что применение модифицированного метода коллективного принятия решения повышает точность распознавания в среднем на 2,4-2,9 %.

Экспериментальные результаты оценки- движения; сегментации и распознавания объектов были получены на тестовых последовательностях изображений («Hamburg taxi», «Rubik cube». «Silent», видеопоследовательности и инфракрасные последовательности из тестовой базы «OTCBVS*07»). Для распознавания активных действий людей использовались примеры из тестовых баз «PETS», «CAVIAR», «VACE». Наилучшие результаты показывает распознавание по двум последовательностям. Также лучшие экспериментальные результаты достигались при распознавании периодических активных действий людей, не находящихся в группах (хождение, бег, поднятие рук). Ложные срабатывания обусловлены засветкой и наличием теней в ряде мест сцены.

На базе экспериментального комплекса «ЗРОЕЯ», V. 1.02 были разработаны системы обработки видеоинформации различного целевого назначения: «Визуальная регистрация государственных номерных знаков автотранспортных средств при многопоточном движении», «Система идентификации моделей корпусов холодильников по изображениям», «Алгоритмы обработки и сегментации ландшафтных изображений. Идентификация объектов». Алгоритмическое и программное обеспечение передано заинтересованным организациям. Результаты тестовой эксплуатации показали работоспособность программного обеспечения, разработанного на основе предложенных в диссертационной работе моделей и методов.

Таким образом, в диссертационной работе были получены следующие результаты:

1. Построены формальные модели обработки и распознавания пространственно-временных структур на основе адаптивной иерархической процедуры. обработки последовательностей изображений, отличающиеся тем, что в них учтены изоморфные и гомоморфные преобразования и выведены обобщенные функции статических и динамических инвариантов. Также построены модели поиска статических и динамических признаков объектов для четырех задач анализа последовательностей изображений в зависимости от наличия движущегося1 видеодатчика и движущихся объектов в сцене.

2. Расширены- основные положения дескриптивного подхода к распознаванию последовательностей изображений, позволяющие учитывать цели распознавания на начальных стадиях обработки последовательности изображений с последующей сегментацией областей интереса, строить траектории движения и распознавать поведение динамических объектов, учитывать предысторию движения объектов при пересечении их проекций, сопровождать переменное количество объектов наблюдения.

3. Разработан иерархический метод обработки и распознавания пространственно-временных структур, состоящий из трех уровней и пяти этапов и предполагающий нормализацию проекций объектов, что позволяет сократить количество эталонов для одного класса при распознавании сложных динамических объектов.

4. Разработан метод оценки движения для последовательностей изображений из видимого и инфракрасного диапазонов электромагнитного излучения отличающийся тем, что используются пространственно-временные наборы данных, представленные в виде 3£> структурных тензоров и ЪВ тензоров. потока соответственно. Полученная оценка движения позволяет выбрать наиболее эффективный метод сегментации динамических визуальных объектов, отличающихся количеством допустимых проекций.

5. Построена модель многоуровневого движения регионов изображения на основе локальных векторов скорости, отличающаяся тем, что позволяет разделять сцену не только на объекты переднего плана и фон, но и на уровни движения объектов, удаленных от наблюдателя. Это особенно актуально для сложных сцен, регистрируемых подвижным видеодатчиком, когда все объекты сцены находятся в относительном движении.

6. Разработан адаптивный алгоритм-сегментации динамических объектов: а) для объектов с ограниченным количеством проекций, на основе анализа предыстории движения локальных динамических регионов, отличающийся тем, что при перекрытиях изображений достраивается форма, региона по текущему шаблону и при условии применения фильтра Калмана прогнозируется,текущая, траектория; б) для объектов с произвольным количеством проекций на основе комплексного анализа, цветовых, текстурных, статистических, топологических признаков и признаков движения, отличающийся тем, что при перекрытиях изображений^форма региона достраивается с использованием метода активных контуров.

7. Предложен способ построения динамического видеографа сложной сцены по методу иерархического группирования комплексных признаков низшего уровня в локальные пространственные структуры, устойчивые во времени, и далее в локальные пространственные объекты. Сформированный видеограф устанавливает временные отношения между объектами и сохраняет все обобщенные признаки для распознавания событий в сцене. Расширена двумерная грамматика М.И. Шлезингера в рамках структурного метода распознавания до трехуровневой контекстной грамматики.

8: Для распознавания динамических объектов модифицирован коллективный метод принятия решений, вначале осуществляющий распознавание принадлежности изображения области компетентности, а затем выбирающий то решающее правило, компетентность которого максимальна в заданной области. Построены четыре вида псевдо-расстояний для нахождения меры сходства входных динамических образов с эталонами в зависимости от представления динамических признаков.

9. Разработан метод распознавания событий на основе байесовской сети, выполняющий рекурсивное разрезание матрицы весовых коэффициентов во входной видеопоследовательности и сравнение с эталонными событиями, полученными на этапе обучения. Данная информация является исходной для определения жанра сцены и индексирования видеопоследовательностей в мультимедийных Интернет-базах.

10. Практические задачи обработки и распознавания последовательностей изображений решены с помощью адаптивно-иерархического метода пространственно-временной обработки, показана работоспособность метода, продемонстрирована эффективность применения системы иерархических методов обработки и. распознавания визуальной информации с возможностью адаптивного выбора признаков в. процессе решения задачи. Полученные результаты в виде спроектированных экспериментальных систем, переданы заинтересованным организациям.

Таким образом, в данной диссертационной, работе решена важная научно-техническая проблема информационного обеспечения систем видеонаблюдения и разработано новое направление в области пространственно-временной обработки и распознавания динамических изображений.

1. Автоматический анализ сложных изображений / Под ред. Э.М. Бра-вермана. М.: Мир, 1969. - 309 с. Бонгард М.М. Проблемы узнавания. - М.: Наука, 1967.-320 с.

2. Алпатов, Б.А., Обнаружение движущегося объекта в последовательности изображений при наличии ограничений на площадь и скорость движения объекта / Б.А. Алпатов, A.A. Китаев // Цифровая обработка изображений, №1, 2007. с. 11-16.

3. Алпатов, Б.А., Выделение движущихся объектов в условиях геометрических искажений изображения / Б.А. Алпатов, П.В. Бабаян // Цифровая обработка сигналов, № 45 2004. с. 9-14.

4. Алпатов, Б.А., Бабаян П.В. Методы обработки и анализа изображений" в бортовых системах обнаружения и сопровождения объектов / Б.А. Алпатов, П.В. Бабаян // Цифровая обработка сигналов, №2, 2006. 45-51 с.

5. Большаков, A.A., Методы обработки многомерных данных и временных рядов: Учебное пособие для вузов / A.A. Большаков, Р.И. Каримов / М.: Горячая линия-Телеком, 2007. 522 с.6: Бонгард, М.М. Проблемы узнавания / М.М. Бонгард / М.: Наука, 1967.-320 с.

6. Булинский, A.B. Теория случайных процессов1 / A.B. Булинский, А.Н. Ширяев / М.: ФИЗМАТЛИТ, 2005. 408 с.

7. Вайнцвайг, М.Н. Архитектура системы представления зрительных динамических сцен в терминах понятий / М.Н.Вайнцвайг, М.Н. Полякова // Сб. тр. 11-й всеросс. конф. «Математические методы распознавания образов (ММРО-11)», М., 2003. с.261-263.

8. Вапник, В.Н. Задача обучения распознаванию образов / В.Н. Вапник / М.: Знание, 1970. - 384 с.

9. П.Вапник, В.Н. Теория распознавания образов (статистические проблемы обучения) / В.Н. Вапник, А.Я. Червоненкис / М.: Наука, 1974. 416 с.

10. Васильев, В.И. Распознавание движущихся тел / В.И. Васильев, А.Г. Ивахненко, В.Е. Реуцкий и др. // Автоматика, 1967, № 6, с. 47-52.

11. Васильев, В.И. Распознающие системы / В.И. Васильев / Киев: Наук. Думка, 1969. 292 с.

12. Васильев, В.И. Распознающие системы. Справочник / В.И. Васильев / Киев, Наук, думка, 1983. 422 с.

13. Визильтер, Ю.В. Применение метода анализа морфологических свидетельств в задачах машинного зрения>/ Ю.В. Визильтер // Вестник компьютерных и информационных технологий, № 9, 2007 с. 11-18.

14. Визильтер, Ю.В. Проективные морфологии на базе интерполяции / Ю.В. Визильтер // Вестник компьютерных и информационных технологий, №4, 2008.-с. 11-18.

15. Визильтер, Ю.В., Проективные морфологии и их применение в структурном анализе цифровых изображений / Ю.В. Визильтер, С.Ю. Желтов // Изв. РАН. ТиСУ, № 6, 2008. с. 113-128.

16. Визильтер, Ю.В. Исследование поведения авторегрессионных фильтров в задаче выделения и анализа движения на цифровых видеопоследовательностях / Ю.В. Визильтер, Б.В. Вишняков // Вестник компьютерных и информационных технологий, № 8, 2008. - с. 2-8.

17. Визильтер, Ю.В. Проективные морфологии изображений на базе моделей, описываемых структурирующими функционалами /Ю.В. Визильтер, С.Ю. Желтов // Вестник компьютерных и информационных технологий, № 11, 2009.-с. 12-21.

18. Вишняков, Б.В. Использование модифицированного метода оптических потоков в задаче обнаружения и межкадрового прослеживания движуs.

19. Ганебных, С.Н. Анализ сцен на основе применения древовидных представлений изображений / С.Н.Ганебных, М.М. Ланге // Сб. тр. 11-й все-росс. конф. «Математические методы распознавания образов (ММРО-11)», М., 2003.-с. 271-275.

20. Глушков, В.М. Введение в кибернетику / В.М. Глушков / Киев: изд-во АН УССР, 1964. 324 с.

21. Гонсалес, Р., Вудс Р. Цифровая обработка изображений. Пер.с англ. под ред. П.А.Чочиа / Р.Гонсалес, Р. Вудс / М.: Техносфера, 2006. 1072 с.

22. Горошкин, А.Н., Сегментация изображений рукописного текста (SegPic) / А.Н. Горошкин, М.Н. Фаворская // Свидетельство № 2008614243. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 5 сентября 2008 г.

23. Гренандер, У. Лекции по теории образов / У. Гренандер / В 3 т. / Пер.с англ. Под ред. Ю.И.Журавлева. М.: Мир, 1979-1983. 130 с.

24. Грузман, И.С. Цифровая обработка изображений в информационных системах: Учебн. Пособие / И.С.Грузман, B.C. Киричук, В.П. Косых, Г.И.Перетягин, A.A. Спектор / Новосибирск, изд-во НГТУ, 2003. с. 352.

25. Достоверный и правдоподобный вывод в интеллектуальных системах / Под ред. В.Н. Вагина, Д.А. Поспелова. 2-е изд., испр. и доп. - М.: ФИЗМАТЛИТ, 2008. - 712 с.

26. Дуда, Р. Распознавание образов и анализ сцен / Р. Дуда, П. Харт / М.: изд-во «Мир», 1978. 512 с.

27. Журавлев, Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации / Ю.И. Журавлев // Проблемы кибернетики: Сб. ст., вып. 33, М.: Наука, 1978. с. 5-68.

28. Журавлев, Ю.И. Об алгебраической коррекции процедур обработки (преобразования) информации / Ю.И.Журавлев, К.В. Рудаков // Проблемы прикладной математики и информатики, М.: Наука, 1987. с. 187-198.

29. Журавлев, Ю.И. Распознавание образов и распознавание изображений / Ю.И. Журавлев, И.Б. Гуревич // Ежегодник «Распознавание. Классификация. Прогноз. Математические методы и их применение», вып. 2, М.: Наука, 1989.-72 с.

30. Журавлев, Ю.И. Распознавание образов и анализ изображений / Ю.И.Журавлев, И.Б. Гуревич / Искусственный интеллект в 3-х кн. Кн. 2. Модели и методы: Справочник / Под ред. Д.А. Поспелова, М.: изд-во «Радио и связь», 1990. - с.149-190.

31. Загоруйко, Н.Г. Методы распознавания и их применение / Н.Г. За-горуйко / М.: Сов. радио, 1972. 206 с.

32. Загоруйко, Н.Г. Искусственный интеллект и эмпирическое предсказание / Н.Г. Загоруйко / Новосибирск: изд. НГУ, 1975. 82 с.

33. Ивахненко, А.Г. О применении теории инвариантности и комбинированного управления к синтезу и анализу обучающихся систем / А.Г. Ивахненко // Автоматика, 1961, № 5, с. 11-19.

34. Ивахненко, Г.И. Самообучающиеся системы распознавания и автоматического управления / А.Г. Ивахненко / Киев: Техника, 1969. 302 с.

35. Кашкин, В.Б. Дистанционное зондирование Земли из космоса. Цифровая обработка изображений: Учебное пособие / В.Б. Кашкин, А.И. Су-хинин / М.: Логос, 2001. 264 с.

36. Кобзарь, А.И. Прикладная математическая статистика. Для инженеров и научных работников / А.И. Кобзарь / М.: ФИЗМАТЛИТ, 2006. 816 с.

37. Ковалевский, В.А. Корреляционный метод распознавания изображений / В.А. Ковалевский // Журн. вычисл. математики и мат.физики, 1962, 2, № 4, с. 684-690.

38. Колмогоров, А.Н: Эпсилон-энтропия и эпсилон-емкость множеств в функциональных пространствах / А.Н. Колмогоров, В.М. Тихомиров // Теория информации и теория алгоритмов. М.: Наука, 1987. с. 119-198.

39. Корн, Г. Справочник по математике для научных работников и инженеров / Г.Корн, Т. Корн // М.: Наука, Гл. ред. физ.-мат. лит., 1984. 832 с.

40. Кроновер, Р. Фракталы и хаос в динамических системах / Р. Кроно-вер // М.: Техносфера, 2006. 488 с.

41. Лапко, A.B. Непараметрические*и гибридные системы классификации разнотипных данных / А.В.Лапко, BlA. Лапко // Тр. 12-й всеросс. конф. «Математические методы и модели распознавания образов» (ММРО-12), М., 2005.-с. 159-162.

42. Левтин, К.Э. Визуальное детектирование дыма (SmokeDetection) / К.Э.Левтин, М.Н. Фаворская // Свидетельство № 2009612795. Зарегистрировано в Реестре программ для ЭВМ г. Москва, ЗО июля 2009 г.

43. Луцив, В.Р. Принципы унификации оптических систем роботов / В.Р. Луцив, М.Н. Фаворская // В- кн. «Унификация и стандартизация промышленных роботов», Ташкент, 1984. с. 93-94.

44. Луцив, В.Р. Универсальная оптическая система для ГАП / В.Р. Луцив, М.Н. Фаворская // В кн. «Опыт создания, внедрения и использования АСУТП в объединениях и на предприятиях», Л., ЛДНТП, 1984. с. 44-47.

45. Медведева, Е.В. Метод оценки векторов движения в видеоизображениях / Е.В.Медведева, Б.О. Тимофеев // В материалах 12-й международной конференции и выставки «Цифровая обработка сигналов и ее применение», М.: В 2 т. Т. 2, 2010. с. 158-161.

46. Методы компьютерной обработки изображений / Под ред. В.А.Сойфера. 2-е изд., исп. - М.: ФИЗМАТЛИТ, 2003. - 784 с.

47. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление / Б. А. Алпатов, П.В. Бабаян, O.E. Балашов, А.И. Степашкин. -М.: Радиотехника, 2008. - 176 с.

48. Методы компьютерной оптики / Под ред. В.А.Сойфера. М.: ФИЗМАТЛИТ, 2003. - 688 с.

49. Мудров, А.Е. Численные методы для ПЭВМ на языках Бейсик, Фортран и Паскаль / А.Е. Мудров / Томск: МП «РАСКО», 1991. 272 с.

50. Пахирка, А.И. Локализация лица (FaceDetection) / А.И.Пахирка, М.Н. Фаворская // Свидетельство № 2009611010. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 16 февраля 2009 г.

51. Пахирка, А.И. Нелинейное улучшение изображений (Nonlinear image enhancement) / А.И.Пахирка, М.Н. Фаворская // Свидетельство № 2010610658. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 31 марта 2010 г.

52. Понтрягин, Л. С. Непрерывные группы J Л. С. Понтрягин // 4-е изд., М.: Наука, 1984.-520 с.

53. Потапов, A.A. Фракталы в радиофизике и радиолокации: Топология выборки / A.A. Потапов // Изд. 2-е, перераб. и доп. - М.: Университетская книга, 2005. 848 с.

54. Радченко, Ю.С. Исследование спектрального алгоритма обнаружения" изменений в видеопоследовательности / Ю.С.Радченко, А.В.Булыгин, Т.А. Радченко // Изв. ВУЗОВ. Радиоэлектроника, ;№ 7, 2009. с. 49-59.

55. Сальников, И.И. Растровые пространственно-временные сигналы в системах анализа изображений / И.И. Сальников // М.: ФИЗМАТЛИТ, 2009. -248 с.

56. Сергунин, С.Ю. Схема динамического построения многоуровнего описания изображений / С.Ю.Сергунин, К.М.Квашнин, М.И. Кумсков // Сб. тр. 11-й всеросс. конф: «Математические методы распознавания образов (ММРО-11)», М., 2003. с. 436-439:

57. Слынько, Ю.В. Решение задачи одновременного сопровождения и оконтуривания методом максимального правдоподобия / Ю.В. Слынько // Цифровая обработка сигналов, № 4, 2008. с. 7-10

58. Солсо, Р. Когнитивная психология / Р. Солсо / СПб.: Питер, 6-е изд., 2006. 590 с.

59. Тарасов, И.Е. Разработка цифровых устройств на основе ПЛИС «Xi-linx»c применением языка VHDL / И.Е. Тарасов / М.: Горячая линия-Телеком, 2005. - 252 с.

60. Фаворская, М.Н. Разработка алгоритмов цифрового распознавания изображений в адаптивных робототехнических комплексах / М.Н*. Фаворская // Л!, Ленинградский ин-т авйац. приборостр., 1985. Рукопись деп: в ВИНИТИ 23.01.85. № 659-85 Деп.

61. Фаворская; М.Н. Применение спектральных методов для нормализации и распознавания изображений в адаптивных робототехнических комплексах / М.Н.*.Фаворская // Л., Ленинградский,ин-т авиац. приборостр., 1985. Рукопись деп. в ВИНИТИ23.01.85. № 660-85 Деп.

62. Фаворская, М.Н. Опыт разработки алгоритмов распознавания объектов для штамповочного производства / М.Н. Фаворская // В кн. «Состояние, опыт и направления работ по комплексной автоматизации на основе ГПС, РТК и ПР», Пенза, 1985. с. 64-66.

63. Фаворская, М.Н. Исследование проективных свойств групп объектов / М.Н. Фаворская, Ю.Б. Козлова // Вестник Сибирского государственного аэрокосмического университета. Вып. 3, Красноярск, 2002. - с. 99-105.

64. Фаворская, М.Н. Определение аффинной структуры объекта по движению / М.Н. Фаворская // Вестник Сибирского государственного аэрокосмического университета, Вып. 6, Красноярск, 2005. - с. 86-89.

65. Фаворская- М.Н. Общая классификация подходов к распознаванию изображений / М-.Н. Фаворская // В< материалах X междунар. научн. конф. «Решетневские чтения» СибГАУ, Красноярск, 2006. с. 54-55.

66. Фаворская М.Н. Инвариантные решающие функции в задачах распознавания статических изображений / М.Н. Фаворская // Вестник Сибирского государственного аэрокосмического университета. Вып. 1 (14), Красноярск, 2007. с. 65-70.

67. Фаворская, М.Н. Вероятностные методы сегментации видеопотока как задача с недостающими данными / М.Н. Фаворская // Вестник Сибирского государственного аэрокосмического университета. Вып. 3 (16), Красноярск, 2007. с. 4-8.

68. Фаворская, М.Н. Выбор целевых информативных признаков в системах распознавания изображений / М.Н. Фаворская // В материалах XI меж-дунар. научн. конф. «Решетневские чтения» СибГАУ, Красноярск, 2007 с. 306-307.

69. Фаворская, М.Н. Стратегии сегментации двумерных изображений / М.Н. Фаворская // В материалах всероссийской научной конференции «Модели и методы обработки изображений ММОИ-2007», Красноярск, 2007. с. 136-140.

70. Фаворская, М.Н. Сегментация ландшафтных изображений на основе фрактального подхода / М.Н. Фаворская // В материалах 10-й международной конференции и выставке «Цифровая обработка сигналов и ее применение», М., 2008. с. 498-501.

71. Фаворская, М.Н. Модель распознавания изображений рукописного текста / М.Н. Фаворская, А.Н. Горошкин // Вестник Сибирского государст4 i, венного аэрокосмического университета. Вып. 2" (19), Красноярск, 2008. с. 52-58.

72. Фаворская, М.Н. Алгоритмы реализации оценки движения в системах видеонаблюдения / М.Н. Фаворская, A.C. Шилов // Системы управленияи информационные технологии. Перспективные исследования / ИПУ РАН; ВГТУ, № 3.3(33), М.-Воронеж, 2008. с. 408^12.

73. Фаворская, М.Н. К вопросу об использовании формальных грамматик при распознавании объектов в сложных сценах // М.Н. Фаворская / В материалах XIII междунар.научн.конф. «Решетневские чтения». В 2 ч. 4.2, Красноярск, 2009. с. 540-541.

74. Фаворская, М.Н. Распознавание динамических образов на основе предсказывающих фильтров / М.Н. Фаворская // Вестник Сибирского государственного аэрокосмического университета. Вып. 1(22) в 2 ч. 4f. 1, Красноярск, 20091 с. 64-68.

75. Фаворская, М.Н., Методы, поиска движения в.видеопоследовательностях / М.Н. Фаворская, А.И. Пахирка, A.C. Шилов; М.В. Дамов // Вестник. Сибирского государственного аэрокосмического университета. Вып. 1 (22) в 2 ч. Ч. 2, Красноярск, 2009. с. 69-74.

76. Фаворская, М.Н. Нахождение движущихся видео объектов, с применением- локальных 3D структурных тензоров / М.Н. Фаворская // Вестник Сибирского государственного аэрокосмического университета. Вып. 2 (23), Красноярск, 2009. с. 141-146.

77. Фаворская, М.Н. Оценка движения объектов в сложных сценах на основе тензорного подхода / М.Н. Фаворская // Цифровая обработка сигналов, № 1,2010.-с. 2-9.

78. Фаворская, М.Н. Комплексный расчет характеристик ландшафтных изображений / М.Н. Фаворская, Н.Ю. Петухов // Оптический журнал, 77, 8, 2010.-с. 54-60.

79. Файн, B.C. Опознавание изображений / B.C. Файн // М.: Наука, 1970.-284 с.

80. Форсайт, Д.А. Компьютерное зрение. Современный подход / Д.А. Форсайт, Дж. Понс // М.: издательский дом «Вильяме», 2004. 928 с.

81. Фу, К. Последовательные методы в распознавании образов и обучение машин / К. Фу / М.: Наука, 1971. 320 с.

82. Фу, К. Структурные методы в распознавании образов / К. Фу / М.: Мир, 1977.-320 с.

83. Фукунага, К. Введение в статистическую теорию распознавания образов / К. Фукунага / М.: Наука, 1979. 368 с.

84. Шелухин, О.И. Самоподобие и фракталы. Телекоммуникационные приложения / О.И. Шелухин, А.В. Осин, С.М. Смольский / Под ред. О.И. Шелухина. М.: ФИЗМАТЛИТ, 2008. 368 с.

85. Шилов, А.С. Определение движения (MotionEstimation) / А.С. Шилов, М.Н. Фаворская // Свидетельство № 2009611014. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 16 февраля 2009 г.

86. Ш.Шлезингер, М.И. Корреляционный метод распознавания последовательностей изображений / М.И. Шлезингер / В кн.: Читающие автоматы. Киев: Наук.думка, 1965. с. 62-70.

87. Шлезингер, М.И. Синтаксический анализ двумерных зрительных сигналов в условиях помех / М.И. Шлезингер // Кибернетика, № 4, 1976. - с.76-82.

88. Штарк, Г.-Г. Применение вейвлетов для ЦОС / Г.-Г. Штарк / Ml: Техносфера, 2007. 192 с.

89. Шуп, Т. Прикладные численные методы в физике и технике: Пер. с англ. / Т. Шуп / Под ред. С.П.Меркурьева; М.: Высш. Шк., 19901 - 255 с.11"5. Электр, ресурс: http:// www.cse.ohio-state.edu/otcbvs-bench

90. Электр, ресурс: http://www.textures.forrest.cz/ электронный ресурс (база текстурных изображений textures library forrest).

91. Электр, ресурс: http://www.ux.uis.no/~tranden/brodatz.html электронный ресурс (база текстурных изображений Brodatz).

92. Allili M.S., Ziou D. Active contours for video object tracking using region, boundary and shape information // SIViP, Vol. 1, no. 2, 2007. pp. 101-117.

93. Almeida J., Minetto R., Almeida T.A., Da S. Torres R., Leite N.J. Robust estimation of camera motion using optical flow models // Lecture Notes in

94. Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) 5875 LNCS (PART 1), 2009. pp. 435-446.

95. Ballan L., Bertini M., Bimbo A. D., Serra G. Video Event Classification using String Kernels // Multimed. Tools Appl., Vol. 48, no. 1, 2009. pp. 6987.

96. Ballan L. Bertini M. Del Bimbo A., Serra G. Action categorization in soccer videos using string kernels // In: Proc. of IEEE Int"l Workshop on Content-Based Multimedia Indexing (CBMI). Chania, Crete, 2009. pp. 13-18.

97. Barnard K., Fan Q. F., Swaminathan R., Hoogs A., Collins R, Rondot P., and Kaufhold J. Evaluation of localized semantics: Data, methodology, and experiments // International Journal of Computer Vision, IJCV 2008, Vol. 77, no. 1-3,2008.-pp. 199-217.

98. Bertini M., Del Bimbo A., Serra G. Learning rules for semantic video event annotation // Lecture Notes In Computer Science; In: Proc. of Int"l Conference on Visual Information Systems (VISUAL), Vol. 5188, 2008. pp. 192-203.

99. Bobick A.F., Davis J.W. The recognition of human-movement using temporal templates // IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, no. 3, 2001. pp. 257-267.

100. Boiman O., Irani M. Detecting irregularities in images and in video // International Journal of Computer Vision, Vol. 74, no. 1, 2007. pp. 17-31.

101. Bresson X., Vandergheynst P., Thiran J.-P. A Variational Model for Object Segmentation Using Boundary Information and Shape Prior Driven4 by the Mumford-Shah Functional // International Journal of Computer Vision, vol. 68, no. 2, 2006.-pp. 145-162.

102. Cavallaro A., Salvador E., Ebrahimi T. Shadow-aware object-based video processing // IEEE Vision; Image and Signal Processing, Vol. 152, no. 4, 2005.-pp. 14-22.

103. Chen J., Ye J. Training SVM with indefinite kernels // In: Proc. of the 25th international conference on Machine learning (ICML), Vol. 307, 2008. pp. 136-143.

104. Cheung S.-M., Moon Y.-S. Detection of Approaching Pedestrians from a Distance Using Temporal Intensity Patterns // MVA2009, Vol. 10, no. 5, 2009. -pp. 354-357.

105. Dalai N., Triggs B., and Schmid G. Human detection using oriented histograms of flow and appearance // In ECCV, vol. II, 2006. pp. 428^141.

106. Dalai N., Triggs B. Histograms of Oriented Gradients for Human Detection // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), vol. II, 2005-pp. 886-893.

107. Dani A.P., Dixon W.E. Single camera structure and motion estimation // Lecture Notes in Control and Information Sciences, 401, 2010. pp. 209-229.

108. Datta Ri, Joshi D;, Li J., and Wang J. Z1 Image retrieval: Ideas, influences, and trends of the new age // ACM"-Computing Surveys, Vol. 40:, no: 2, 2008. ■ -pp. 1-60.

109. Dikbas S., Arici T., Altunbasak Y. Fast motion estimation with interpolation-free sub-sample accuracy // IEEE Transactions on Circuits and Systems for Video Technology 20 (7), 2010. -pp. 1047-1051.

110. Dollar P., Rabaud V., Cottrell G., Belongie S. Behavior recognition via sparse spatio-temporal features // In: Proc. 2nd Joint IEEE International Workshop on Evaluation of Tracking and Surveillance, VS-PETS, 2005. pp. 65-72.

111. Donatini P. and Frosini P. Natural pseudodistances between closed surfaces // Journal of the European Mathematical Society, Vol. 9, no. 2, 2007 pp. 231-253.

112. Donatini P. and Frosini P. Natural pseudodistances between closed curves // Forum Mathematicum, Vol. 21, no. 6, 2009. pp. 981-999.

113. Ebadollahi S., L., X., Chang S.F., Smith J.R. Visual event detection using multi-dimensional concept dynamics // In: Proc. of IEEE Int"l Conference on Multimedia and Expo (ICME), 2006. pp. 239-248.

114. Favorskaya M., Zotin A., Danilin I., Smolentcheva S. Realistic 3D-modeling of Forest Growth with Natural Effect // Proceedings of the Second KES International Symposium IDT 2010, Baltimore. USA. Springer-Verlag, Berlin, Heidelberg. 2010.-pp. 191-199.

115. Francois A.R.J., Nevatia R., Hobbs J.R., Bolles R.C. VERL: An ontology framework for representing and annotating video events // IEEE Multimedia, Vol: 12; no. 4, 2005. pp. 76-86.

116. Gao J., Kosaka A:, Kak A.C. A Multi-Kalman Filtering Approach for Video Tracking of Human-Delineated Objects in Cluttered" Environments // IEEE Com-puter Vision and Image Understanding, 2005, V. 1, no. 1. pp. 1-57.

117. Gui L., Thiran J.-P., Paragios N. Joint Object Segmentation and Behavior Classification in Image Sequences // IEEE Conf. on Computer Vision and Pattern Recognition, 17-22 June 2007. pp. 1-8.

118. Haasdonk B. Feature space interpretation of SVMs with indefinite kernels // IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 27, no. 4, 2005. pp. 482-492.

119. Harris C. and Stephens M. A combined corner and edge detector // In Fourth Alvey Vision Conference, Manchester, UK, 1988. pp. 147-151.

120. Haubold A., Naphade M. Classification of video events using 4-dimensional- time-compressed motion features // In CIVR "07: Proceedings of the6th ACM international confcrcnce on Image and video retrieval, NY, USA, 2007. -pp. 178-185.

121. Haykin S. Neural Networks: A Comprehensive Introduction. / N.Y.: Prentice-Hall, 1999;.- 658 pi.

122. Hoynck M., Unger M., Wellhausen J. and Ohm J.-R. A Robust Approach to Global Motion Estimation for Content-based Video Analysis // Proceedings of SPIE Vol. 5601, Bellingham, WA, 2004. pp. 36-45.

123. Huang Q., Zhao D., Ma S., Gao W., Sun H. Deinterlacing using hierarchical motion analysis // IEEE Transactions on Circuits and Systems for Video Technology 20 (5), 2010. pp. 673-686.

124. Jackins C.L., Tanimoto S.L. Quad-trees, Oct-trees and K-trees: A Generalized Approach to Recursive Decomposition of Euclidean Space // IEEE Transactions onPAMI, Vol. 5, no. 5, 1983.-pp. 533-539.

125. Ke Y., Sukthankar R:, Hebert Mi. Efficient visual event detection using volumetric features // In: Proc. of Int"l Conference on Computer Vision (ICCV), vol.1, 2005.-pp. 166-173.

126. Klaser A., Marszalek M., and Schmid C.A Spatio-Temporal Descriptor Based on 3D-Gradients // In BMVC, British Machine Vision, Conference, 2008. -pp. 995-1004.

127. Kovashka, A., Grauman, К Learning a hierarchy of discriminative space-time neighborhood features for human action recognition // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition ,2010. pp.2046-2053 .

128. Kumskov M.I. Calculation Scheme of the Image Analysis Controlled by the Models of the Objects to be Recognized // Pattern Recognition and Image Analysis, Vol. 11, no. 2, 2001. p. 446-449:

129. Kwang-Kyu S. Content-based image retrieval by combining genetic algorithm and support vector machine // In ICANN (2), 2007. pp. 537-545.

130. Lai C.-L., Tsai S.-T., Hung Y.-P. A study on the three-dimensional coordinate calibration using fuzzy system // International Symposium on Computer, Communication, Control and Automation 1, 2010. - pp. 358-362.

131. Laptev I. On space-time interest points // International Journal of Computer Vision, Vol. 64, no. 23, 2005. pp. 107-123.

132. Leibe B., Seemann E., Schiele B. Pedestrian Detection in- Crowded* Scenes // IEEE Conference on Computer Vision and"Pattern Recognition, Vol. 1, 2005.-pp. 878- 885.

133. Lew M. S., Sebe N., Djeraba C., and Jain R. Content-based multimedia information1 retrieval: State of the art and challenges // ACM Transactions on Multimedia Computing, Communications, and Applications, Vol. 2, no. 1, 2006. pp. 1-19.

134. Li J. and Wang J. Z. Real-time computerized annotation of pictures // IEEE Trans. PAMI, Vol. 30, 2008. pp. 985-1002.

135. Li L., Luo R., Ma R., Huang W., and Leman K. Evaluation of An IVS System for Abandoned Object Detection on PETS 2006 Datasets // Proc. 9 IEEE Intern. Workshop on PETS, New York, 2006. pp. 91-98.

136. Li L., Socher R., and Fei-Fei L. Towards Total Scene Understanding: Classification, Annotation and Segmentation in an Automatic Framework // IEEE Conference on Computer Vision and Pattern Recognition, CVPR, 2009. pp. 2036-2043.

137. Li Q., Wang G., Zhang G.} Chen S. Accurate global motion estimation based on pyramid with mask // Jisuanji Fuzhu Sheji Yu Tuxingxue Xuebao/Journal of Computer-Aided Design and Computer Graphics, Vol: 21, no. 6, 2009. pp. 758-762.

138. Lindeberg T., Akbarzadeh A. and Laptev I. Galilean-diagonalized spatio-temporal interest operators // Proceedings of the 17th International Conference on Pattern Recognition (ICPR"04), 2004. pp. 1051-1057.

139. Lim J., Barnes,N. Estimation of the epipole using optical flow at antipodal points // Computer Vision and Image Understanding 114, no. 2, 2010. pp. 245-253.

140. Lowe D. G. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision, Vol. 60, no. 2, 2004. pp. 91-110.

141. Lucas B.D., Kanade T. An Iterative Image Registration Technique with an Application to Stereo Vision // International Joint Conference on Artificial Intelligence, 1981. pp. 674-679.

142. Mandelbrot B;B. The Fractal Geometry of Nature / N.Y.: Freeman^ 1982. 468 p.; русс, пер.: Мандельброт Б. Фрактальная, геометрия природы: Пер. с англ. / М.: Институт компьютерных исследований, 202. - 658 с.

143. Mandelbrot В.В., Frame M.L. Fractals, Graphics, and Mathematics Education/N. Y.: Springer-Verlag, 2002. 654 p.

144. Mandelbrot B.B. Fractals and Chaos: The Mandelbrot Set.and Beyond / N.Y.: Springer-Verlag, 2004. 308 p.

145. Memoli F. On the use of Gromov-Hausdorff distances for shape comparison // Proceedings of the Eurographics Symposium on Point-Based Graphics. Prague, Czech Republic, 2007. pp. 81-90.

146. Mercer J. Functions of positive and negative type and their connection with the theory of integral equations // Transactions of the London Philosophical Society (A), vol. 209, 1909. pp. 415-446.

147. Mikolajczyk K. Detection of local features invariant to affine transformations, Ph.D.thesis, Institut National Polytechnique de Grenoble, France. 2002.171 p.

148. Mikolajczyk K. and Schmid G. An Affine Invariant Interest Point Detector // Proceedings of ECCV. Vol. 1. 2002. pp. 128-142.

149. Minhas R., Baradarani A., Seifzadeh S., Jonathan Wu, Q.M. Human action recognition using extreme learning machine based on visual vocabularies // Neurocomputing, Vol. 73 (10-12), 2010. pp. 1906-1917.

150. Mladenic D., Skowron A., eds.: ECML. Vol. 4701 of Lecture Notes in Computer Science, Springer, 2007. pp. 164-175.

151. Moshe Y., Hel-Or H. Video block motion estimation based on gray-code kernels // IEEE Transactions on Image Processing 18 (10), 2009. pp. 22432254.

152. Nakada T., Kagami S;, Mizoguchi H. Pedestrian Detection using 3D Optical Flow Sequences for- afMobile Robot // IEEE Sensors, 2008. pp: 116-119:

153. Needleman, S.B:,. Wunsch C.D; A general method applicable to the search for similarities in the* amino acid sequence of two proteins // Journal"of Molecular Biology Vol. 48, no: 3, 1970. pp. 443-453.

154. Neuhaus M., Bunke H. Edit distance-based kernel functions-for structural pattern classification // Pattern Recognition. Vol. 39, no. 10, 2006. pp: 1852-1863.

155. Nevatia R., Hobbs J., and Bolles B. An ontology for video event representation // In Workshop on Event Detection and Recognition. IEEE, Vol.12, no. 4, 2004. pp. 76-86.

156. Nguyen.N.-T., Laurendeau D:, Branzan-Albu A. A robust method for camera motion estimation in movies based on optical flow // The 6th International