В цій роботі розглядається роль регуляризації, як одного з основних інструментів машинного навчання для боротьби з перенавчанням. Методики сучасної регуляризації дозволяють контролювати складність моделей, що сприяє їхній здатності до узагальнення. Ми проаналізуємо математичні механізми впливу таких технік, як L1 регуляризація та L2 регуляризація, випадання, рання зупинка та нормалізація ваг. Їх вплив на помилки навчання та тестування. Крім того, буде розглянуто сучасні математичні підходи до оцінювання регуляризованого ризику та визначення оптимального значення регуляризації в задачах класифікації та регресії.

MATHEMATICAL ANALYSIS OF REGULARIZATION AND OVERFITTING IN MACHINE LEARNING MODELS

Abstract

This work examines the role of regularization as one of the key tools in machine learning for combating overfitting. Modern regularization techniques make it possible to control model complexity, which improves their generalization ability. We analyze the mathematical mechanisms behind the influence of techniques such as L1 regularization, L2 regularization, dropout, early stopping, and weight normalization, as well as their effect on training and testing errors. In addition, modern mathematical approaches to evaluating regularized risk and determining the optimal regularization value in classification and regression tasks are considered.