Це дослідження присвячене критичному аналізу зростаючих проблем якості даних (Data Quality, DQ) в архітектурах Big Data та розробці комплексних методів їх подолання. Встановлено, що традиційні підходи до DQ не справляються з експоненціальним зростанням обсягів, швидкості та різноманітності даних (3V), що призводить до динамічних та багатовимірних дефектів, які прямо впливають на точність аналітичних моделей та надійність прийняття рішень. Основний акцент зроблено на необхідності переходу від реактивного очищення до проактивного забезпечення якості «у джерелі». Запропоновано інтеграцію методів машинного навчання (ML) та штучного інтелекту (AI) для автоматизованого виявлення аномалій та інтелектуальної корекції помилок. Підкреслюється, що технологічні рішення повинні бути доповнені організаційним підходом, а саме – впровадженням політик Data Governance та інституту Data Stewardship. Результати роботи формують основу для розробки гібридних, адаптивних систем управління якістю даних, здатних підтримувати високу надійність Big Data конвеєрів.

DATA QUALITY PROBLEMS IN BIG DATA AND METHODS TO OVERCOME THEM

Abstracts: This study is devoted to a critical analysis of the growing problems of data quality (DQ) in Big Data architectures and the development of comprehensive methods to overcome them. It has been established that traditional approaches to DQ cannot cope with the exponential growth in data volume, velocity, and variety (3V), which leads to dynamic and multidimensional defects that directly affect the accuracy of analytical models and the reliability of decision-making. The main emphasis is on the need to move from reactive cleansing to proactive quality assurance “at the source.” The integration of machine learning (ML) and artificial intelligence (AI) methods for automated anomaly detection and intelligent error correction is proposed. It is emphasized that technological solutions must be complemented by an organizational approach, namely the implementation of Data Governance policies and the institution of Data Stewardship. The results of the work form the basis for the development of hybrid, adaptive data quality management systems capable of maintaining the high reliability of Big Data pipelines