Розмір шрифта:
МЕТОД АВТОМАТИЧНОГО ВИЯВЛЕННЯ КЛЮЧОВИХ МОМЕНТІВ У КОРОТКИХ ВІДЕОЗАПИСАХ НА ОСНОВІ МУЛЬТИМОДАЛЬНОГО АНАЛІЗУ
Остання редакція: 2026-06-19
Анотація
У роботі досліджено та розроблено метод автоматичного виявлення ключових моментів у коротких відеозаписах для платформ соціальних мереж. Запропоновано мультимодальний підхід на основі пізнього злиття незалежних оцінок п'яти аналітичних каналів: аудіо-, відео-, емоційного, кольорового та текстового. Для зведення числових показників застосовано мін-макс нормалізацію per-video, одновимірне гауссове згладжування для усунення поодиноких артефактних піків та алгоритм ковзного вікна змінної тривалості. Програмний комплекс реалізовано у вигляді мікросервісної архітектури на базі мов Go, Python із використанням брокера повідомлень RabbitMQ та СУБД MySQL. На основі користувацького опитування проведено порівняльне оцінювання системи на тестовому наборі відеозаписів різних жанрів. Результати дослідження підтвердили, що розроблений мультимодальний метод демонструє вищу стійкість до жанрової специфіки контенту та перевершує одномодальні базові лінії за середньою оцінкою та показником win rate.
Ключові слова
короткі відеозаписи; ключовий момент; мультимодальний аналіз; пізнє злиття; гауссове згладжування; ковзне вікно; мікросервісна архітектура
Посилання
Apostolidis E., Adamantidou E., Metsai A., Mezaris V., Patras I. Video Summarization Using Deep Neural Networks: A Survey / Proceedings of the IEEE., 2021., Vol. 109, No. 11., P. 1838–1863.
Farneback G. Two-Frame Motion Estimation Based on Polynomial Expansion / Scandinavian Conference on Image Analysis., Springer, 2003., P. 363–370.
Loureiro D., Barbieri F., Neves L., Anke L., Camacho-Collados J. TimeLMs: Diachronic Language Model Trained on Twitter Time Data / ACL Anthology., 2022., P. 344–356.
Повний текст:
PDF