У роботі досліджується роль регуляризації як одного з ключових інструментів машинного навчання, спрямованого на запобігання перенавчанню моделей. Сучасні методи регуляризації дають змогу контролювати складність моделей, що підвищує їхню здатність до узагальнення. Проаналізовано математичні механізми впливу таких підходів, як L1- та L2-регуляризація, випадання (dropout), рання зупинка та нормалізація ваг, а також їхній вплив на помилки навчання і тестування. Окрему увагу приділено сучасним математичним підходам до оцінювання регуляризованого ризику та визначення оптимального рівня регуляризації в задачах класифікації та регресії.

MATHEMATICAL ANALYSIS OF REGULARIZATION AND OVERFITTING IN MACHINE LEARNING MODELS

Abstract

This paper investigates the role of regularization as one of the key tools in machine learning aimed at preventing model overfitting. Modern regularization techniques enable control over model complexity, thereby improving generalization performance. The mathematical mechanisms underlying methods such as L1 and L2 regularization, dropout, early stopping, and weight normalization are analyzed, along with their impact on training and testing errors. In addition, contemporary mathematical approaches to evaluating regularized risk and determining optimal regularization parameters in classification and regression tasks are discussed.