Аннотация: В статье рассматривается проблема автоматического тестирования алгоритмов поиска человека по приметам. Особое внимание уделяется испытаниям этих алгоритмов в реальных условиях. Сформулированы ключевые показатели для оценки производительности и качества работы алгоритмов с учетом пользовательского опыта. Для оценки производительности предлагается измерять два параметра: скорость построения одного индекса человека и скорость сравнения двух индексов. Измерения производительности проводятся относительно эталонного алгоритма, который длительное время испытывался в реальных условиях. Качественными показателями работы алгоритмов являются доля выраженных ошибок в результатах поиска и доля камер, на которых искомый объект был найден. Именно эти два показателя сложнее всего измерить автоматически ввиду их субъективной природы. Требование репрезентативности тестовой выборки, т.е. соответствия ее реальным условиям, дополнительно усложняет задачу измерения. В качестве тестовой выборки предложено использовать большое количество видеороликов, отснятых в различных условиях освещенности и на камеры различных моделей и производителей. Для измерения качественных показателей предложена методика, основанная на предварительной разметке тестовых видеороликов человеком и использовании модуля трекинга людей в рамках одной камеры. В разметку закладываются человеческие субъективные оценки степени похожести людей на видеороликах. Разметка видеороликов состоит из двух частей: отметка временных границ движения отдельных людей и заполнение матрицы сравнения людей между собой. Модуль трекинга необходим для сопоставления людей в видеороликах и людей, проиндексированных в системе видеонаблюдения. После разметки вся тестовая выборка подается на вход системы видеонаблюдения, где она индексируется. После этого происходит сопоставление людей в размеченных видеороликах и архиве, а на основе сопоставления автоматически рассчитываются качественные показатели.

Ключевые слова: видеоанализ, поиск человека по приметам, автоматическое тестирование.

ACM Classification Keywords: D.2 SOFTWARE ENGINEERING: D.2.5 Testing and Debugging – Testing tool; D.2.8 Metrics – Performance measures. I.5 PATTERN RECOGNITION: I.5.4 Applications – Computer vision.

Link:

РАЗРАБОТКА МЕТОДИКИ АВТОМАТИЧЕСКОГО ТЕСТИРОВАНИЯ АЛГОРИТМОВ ПОИСКА ЧЕЛОВЕКА ПО ПРИМЕТАМ

Андрей Дураков

http://www.foibg.com/ijita/vol19/ijita19-4-p11.pdf