danДоклады Национальной академии наук БеларусиDoklady of the National Academy of Sciences of Belarus1561-83232524-2431The Republican Unitary Enterprise Publishing House "Belaruskaya Navuka"10.29235/1561-8323-2020-64-2-144-149dan-864Research ArticleИНФОРМАТИКАINFORMATICSАлгоритм отслеживания объектов движущейся видеокамеройObject tracking algorithm by moving video cameraЗалесскийБ. А.ZaleskyB. A.

Залесский Борис Андреевич – д-р физ.-мат. наук, заведующий лабораторией.

Zalesky Boris A. – D. Sc. (Physics and Mathematics), Head of the Laboratory.

6, Surganov Str., 220012, Minsk

zalesky@newman.bas-net.byОбъединенный институт проблем информатики Национальной академии наук БеларусиUnited Institute of Informatics Problems of the National Academy of Sciences of Belarus202017052020642144149Copyright © Залесский Б.А., 20202020Залесский Б.А.Zalesky B.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://doklady.belnauka.by/jour/article/view/864

Представлен алгоритм ACT (Adaptive Color Tracker) отслеживания объектов, наблюдаемых движущейся видеокамерой. Одной из особенностей работы алгоритма является адаптация набора признаков объекта к фону текущего кадра. При работе с текущим кадром из исходного набора признаков объекта, сформированного при его выделении на первом кадре, удаляются те, которые присущи не только объекту, но и в большой мере фону. Такие признаки не только не способствуют отделению объекта интереса от фона – они затрудняют корректное обнаружение объекта. Оставляются признаки объекта в большей мере характерные объекту и в то же время наименее характерные для фона текущего кадра. Признаки объекта и фона формируются на основе цветового представления кадров. Они вычисляются путем кластеризации 3D-векторов цвета пикселов кадров быстрой версией хорошо известного алгоритма k-средних или более простым и быстрым разбиением цветового пространства на 3D-параллелепипеды с последующей заменой цвета каждого пиксела на среднее значение векторов цвета, попавших в тот же параллелепипед, что и текущий цвет. Еще одна особенность алгоритма заключается в его вычислительной простоте, что делает возможным его использование на небольших мобильных вычислителях, например, на Jetson TXT1 или TXT2.

Алгоритм был протестирован на видеопоследовательностях, снятых различными видеокамерами, а также на общеизвестном наборе данных TV77, содержащем 77 различных размеченных видеопоследовательностей. Тесты показали работоспособность алгоритма. На тестовых изображениях его точность и быстродействие превосходили показатели трекеров, реализованных в библиотеке компьютерного зрения OpenCV 4.1.

The algorithm ACT (Adaptive Color Tracker) to track objects by a moving video camera is presented. One of the features of the algorithm is the adaptation of the feature set of the tracked object to the background of the current frame. At each step, the algorithm extracts from the object features those that are more specific to the object and at the same time are at least specific to the current frame background, since the rest of the object features not only do not contribute to the separation of the tracked object from the background, but also impede its correct detection. The features of the object and background are formed based on the color representations of scenes. They can be computed in two ways. The first way is 3D-color vectors of the clustered image of the object and the background by a fast version of the well-known k-means algorithm. The second way consists in simpler and faster partitioning of the RGB-color space into 3D-parallelepipeds and subsequent replacement of the color of each pixel with the average value of all colors belonging to the same parallelepiped as the pixel color. Another specificity of the algorithm is its simplicity, which allows it to be used on small mobile computers, such as the Jetson TXT1 or TXT2.

The algorithm was tested on video sequences captured by various camcorders, as well as by using the well-known TV77 data set, containing 77 different tagged video sequences. The tests have shown the efficiency of the algorithm. On the test images, its accuracy and speed overcome the characteristics of the trackers implemented in the computer vision library OpenCV 4.1.

видеопоследовательностиалгоритмы отслеживания объектовадаптация признаковvideo sequencesobject tracking algorithmsadaptation of feature setReferencesYilmaz, A. Object tracking: A survey / A. Yilmaz, O. Javed, M. Shah // ACM Computing Surveys. – 2006. – Vol. 38, N 4. – P. 1–13. https://doi.org/10.1145/1177352.1177355Yilmaz A., Javed O., Shah M. Object tracking: A survey. Acm computing surveys, 2006, vol. 38, no. 4, pp. 1–13. https://doi.org/10.1145/1177352.1177355Visual tracking: An experimental survey / A. W. Smeulders [et al.] // IEEE TPAMI. – 2014. – Vol. 36, N 7. – P. 1442– 1467. https://doi.org/10.1109/tpami.2013.230Smeulders A. W., Chu D. M., Cucchiara R., Calderara S., Dehghan A., Shah M. Visual tracking: An experimental survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, vol. 36, no. 7, pp. 1442–1468. https://doi.org/10.1109/tpami.2013.230Video processing techniques for traffic flow monitoring: A survey / B. Tian [et al] // 14th International IEEE Conference on Intelligent Transportation Systems. – Washington, 2011. – P. 1103–1108. https://doi.org/10.1109/itsc.2011.6083125Tian B., Yao Q., Gu Y., Wang K., Li Y. Video processing techniques for traffic flow monitoring: A survey. 14th International IEEE Conference on Intelligent Transportation Systems, Washington, 2011, pp. 1103–1108. https://doi.org/10.1109/itsc.2011.6083125Chen, Z. An experimental survey on correlation filter-based tracking [Electronic resource] / Z. Chen, Z. Hong, D. Tao. – 2015. – Mode of access: https://arxiv.org/abs/1509.05520. – Date of access: 05.09.19.Chen Z., Hong Z., Tao D. An experimental survey on correlation filter-based tracking, 2005. Available at: https://arxiv.org/abs/1509.05520 (accessed 5 September 2019).A survey of appearance models in visual object tracking / X. Li [et al.] // ACM Transactions on Intelligent Systems and Technology. – 2013. – Vol. 4, N 4. – P. 1–48. https://doi.org/10.1145/2508037.2508039Li X., Hu W., Shen C., Zhang Z., Dick A., Van Den Hengel A. A survey of appearance models in visual object tracking. ACM Transactions on Intelligent Systems and Technology, 2013, vol. 4, no. 4, pp. 1–48. https://doi.org/10.1145/2508037.2508039Liu, Q. Survey of single-target visual tracking methods based on online learning / Q. Liu, X. Zhao, Z. Hou // IET Computer Vision. – 2014. – Vol. 8, N 5. – P. 419–428. https://doi.org/10.1049/iet-cvi.2013.0134Liu Q., Zhao X., Hou Z. Survey of single-target visual tracking methods based on online learning. IET Computer Vision, 2014, vol. 8, no. 5, pp. 419–428. https://doi.org/10.1049/iet-cvi.2013.0134Fiaz, M. Tracking Noisy Targets: A Review of Recent Object Tracking Approaches [Electronic resource] / M. Fiaz, A. Mahmood, S.-K. Jung. – 2018. – Mode of access: https://arxiv.org/abs/1802.03098. – Date of access: 05.09.19.Fiaz M., Mahmood A., Jung S.-K. Tracking Noisy Targets: A Review of Recent Object Tracking Approaches, 2018. Available at: https://arxiv.org/abs/1802.03098 (accessed 5 September 2019).Lucas B. An iterative image registration technique with an application to stereo vision / B. Lucas, T. Kanade // Proceedings of the 7th International Joint Conference on Artificial Intelligence (IJCAI’81). – Vancouver, 1981. – Vol. 2. – P. 674–679.Lucas B., Kanade T. An iterative image registration technique with an application to stereo vision. Proceedings of the 7th International Joint Conference on Artificial Intelligence (IJCAI ‘81), Vancouver, 1981, vol. 2, pp. 674–679.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR) [Electronic resource]. – Long Beach, 2019. – Mode of access: http://openaccess.thecvf.com/CVPR2019.ru. – Date of access: 05.09.19.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, 2019. Available at: http://openaccess.thecvf.com/CVPR2019.py (accessed 5 September 2019).

The authors declare that there are no conflicts of interest present.