Остання редакція: 2025-12-18
Анотація
У роботі розроблено мультимодальну систему детекції фейкового контенту, що поєднує аналіз візуальної та аудіальної інформації. Відеоаналіз здійснюється за допомогою нейронної мережі ResNet50 з використанням підходу перенавчання класифікаційної надбудови для розпізнавання автентичних та підроблених відео. Для аналізу аудіо застосовано модель Wav2Vec, яка дозволяє оцінювати ймовірність синтетичного мовлення на рівні часових сегментів. Підсумкове рішення щодо автентичності контенту формується на основі диз’юнктивного правила прийняття рішень, згідно з яким мультимедійний об’єкт класифікується як фейковий у разі виявлення ознак підробки хоча б в одній із модальностей.
Ключові слова
Посилання
1. Куперштейн Л.М., Сороколіт В.О., Прокопенко С.О. Аналіз можливостей великих мовних моделей для автоматизації фактчекінгу . Куперштейн Л. М., Сороколіт В. О., Прокопенко С. О. Аналіз можливостей великих мовних моделей для автоматизації фактчекінгу. // Матеріали Всеукраїнської науково-практичної інтернет-конференції «Молодь в науці: дослідження, проблеми, перспективи (МН-2024)», 11-20 травня 2024 р. Електрон. текст. дані. 2024. URI: https://conferences.vntu.edu.ua/index.php/mn/mn2024/paper/view/20855.
2. Куперштейн Л.М., Людва Н. В., Прокопенко С. О. Аналіз можливостей нейроних мереж для виявлення мультимедійних фейків . Куперштейн Л. М., Людва Н. В., Прокопенко С. О. Аналіз можливостей нейроних мереж для виявлення мультимедійних фейків. // Матеріали Всеукраїнської науково-практичної інтернет-конференції «Молодь в науці: дослідження, проблеми, перспективи (МН-2024)», 11-20 травня 2024 р. Електрон. текст. дані. 2024. URI: https://conferences.vntu.edu.ua/index.php/mn/mn2024/paper/view/21749.
3. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition. arXiv, 2015. URL: https://arxiv.org/abs/1512.03385 (дата звернення: 15.12.2025).
4.Transfer Learning for Computer Vision Tutorial. PyTorch Tutorials. URL: https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html (дата звернення: 15.12.2025).
5.timm (PyTorch Image Models): документація/моделі ResNet і pretrained-ваги. URL: https://huggingface.co/docs/timm/index (дата звернення: 15.12.2025)
6. Baevski A. et al. wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations. arXiv, 2020. URL: https://arxiv.org/abs/2006.11477 (дата звернення: 15.12.2025).
7.Transformers: Wav2Vec2 (підготовка input_values через процесор/feature extractor, параметр sampling_rate). URL: https://huggingface.co/docs/transformers/model_doc/wav2vec2 (дата звернення: 15.12.2025).
8.Streamlit: st.file_uploader (завантаження файлів у вебзастосунку). URL: https://docs.streamlit.io/develop/api-reference/widgets/st.file_uploader (дата звернення: 15.12.2025).