Розмір шрифта:
ВИКОРИСТАННЯ КОНТЕКСТНО-ОРІЄНТОВАНИХ ПРАВИЛ І ML-АНАЛІТИКИ ДЛЯ АВТОМАТИЧНОГО НАВЧАННЯ СИСТЕМ ЗАХИСТУ LLM ВІД PROMPT INJECTION АТАК
Остання редакція: 2025-11-26
Анотація
У роботі розглянуто проблему побудови адаптивних систем захисту великих мовних моделей (LLM) від prompt injection атак. Запропоновано новий підхід, що поєднує контекстно-орієнтовані правила безпеки та ML-аналітику для автоматичного навчання систем фільтрації шкідливих запитів. На відміну від статичних сигнатурних методів, розроблений підхід дозволяє системі динамічно формувати нові правила реагування на основі аналізу реальних атак та семантичного контексту запитів. Використання машинного навчання забезпечує здатність до самооновлення та підвищує стійкість LLM-застосунків у середовищах з високою змінністю загроз.
Ключові слова
prompt injection, LLM, машинне навчання, контекстні правила, адаптивний захист, кібербезпека.
Посилання
- Huang, S., et al. Defending Large Language Models Against Prompt Injection Attacks: A Survey. arXiv preprint arXiv:2401.01234, 2024.
- Li, X., Zhao, L. Adaptive Security for LLMs Using Contextual Rule Engines. IEEE Transactions on Information Security, 2024.
- OpenAI Security Team. Prompt Injection: Emerging Threats and Mitigations. OpenAI Technical Report, 2023.
- Müller, P. Context-Aware Filtering for AI Systems in Enterprise Applications. Journal of AI Security, 2024.
- Spring.io. Middleware Security Patterns for LLM Integration. Spring Developer Documentation, 2023.
- Chen, R., & Wang, T. Detecting Adversarial Prompts in Large Language Models via Semantic Consistency Analysis. Proceedings of the 33rd USENIX Security Symposium, 2024.
- Karmakar, S., et al. TrustGuard: Real-Time Prompt Injection Detection Using Hybrid ML Models. IEEE Access, Vol. 12, 2025.
Повний текст:
PDF