Разработка алгоритма дерева принятия решений

Содержание

Введение

1⠄Глава: Теоретические основы построения деревьев принятия решений
1⠄1⠄Основные понятия и область применения деревьев решений в задачах классификации и регрессии
1⠄2⠄Критерии разбиения и меры неопределенности: энтропия, индекс Джини, среднеквадратичная ошибка
1⠄3⠄Методы борьбы с переобучением: стрижка (pruning), ограничение глубины и минимального числа объектов в листе

$⠄$$$$$: $$$$$$$$$$ $ $$$$$$ $$$$$$$$$ $$$$$$ $$$$$$$$ $$$$$$$
$⠄$⠄$$$$$$$$$$$$$$ $$$$$$$$$ $$$$$$ $ $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$ $$$$$$
$⠄$⠄$$$$$$$$$$$ $$$$$$$$$$ $$ $$$$$ $$$$$$ $ $$$$$$$$$$$$$$ $$$$$$$$$ $$$$$ $ $$$$$$
$⠄$⠄$$$$$$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$ $$$$$$ $$$$$$$$$ $$ $$$$$$$$ $$$$$$$ $$$$$$ $ $$$$$$ $$$$$$$$$$ $$$$$$$$$$$

$$$$$$$$$$

$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$

Введение

В эпоху стремительного роста объемов данных и усложнения аналитических задач, извлекаемых из них, методы машинного обучения становятся неотъемлемым инструментом для принятия обоснованных решений в самых разных сферах — от медицины и финансов до промышленности и информационной безопасности. Среди множества алгоритмов, предлагаемых современной наукой, деревья принятия решений занимают особое место благодаря своей интерпретируемости, наглядности и способности обрабатывать данные различных типов без сложной предварительной подготовки. Разработка эффективных алгоритмов построения деревьев решений, способных работать с большими объемами информации и обеспечивать высокую точность прогнозов, является одной из ключевых задач в области интеллектуального анализа данных, что и определяет высокую актуальность данной темы.

Проблематика работы заключается в необходимости преодоления ряда ограничений, присущих классическим алгоритмам построения деревьев решений, таким как ID3, C4.5 и CART. К числу основных проблем относятся склонность к переобучению (оверфиттингу) на зашумленных данных, чувствительность к небольшим изменениям в обучающей выборке, а также сложность выбора оптимальных критериев разбиения и параметров для конкретной задачи. Кроме того, актуальной остается задача разработки алгоритма, который бы сочетал в себе высокую точность классификации с вычислительной эффективностью и сохранял простоту интерпретации получаемых правил.

Объектом данного исследования является процесс машинного обучения, направленный на решение задач классификации и регрессии. Предметом исследования выступают алгоритмы построения деревьев принятия решений, их математические основы, критерии оценки качества разбиения и методы оптимизации структуры дерева.

Целью курсовой работы $$$$$$$$ $$$$$$$$$$ $ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$ $$$$$$$$ $$$$$$$, $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$$$$$$ $$$$$$ $ $$$$$$$$$$$$ $$$$$$$ $$$$$$$$ $$$$$$$$$$$$$$$.

$$$ $$$$$$$$$$ $$$$$$$$$$$$ $$$$ $$$$$$$$$$ $$$$$$ $$$$$$$$$ $$$$$$:
$. $$$$$$$ $ $$$$$$$$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$, $$$$$$$ $$$$$$$$ $$$$$$$$$ ($$$$$$$$, $$$$$$ $$$$$) $ $$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$$$.
$. $$$$$$$$ $$$$$$$$$$$$$ $$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ ($$$, $$.$, $$$$) $$$ $$$$$$$$$ $$ $$$$$$$ $ $$$$$$ $$$$$$.
$. $$$$$$$$$$$ $$$$$$$$$$$ $ $$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$ $$$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$$$$.
$. $$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$ $$ $$$$$ $$$$$$$$$$$$$$$$ $$$$$$.
$. $$$$$$$$ $$$$$$$$$$$$$$$$$ $$$$$$ $$$$$$$$ $$$$$$ $$$$$$$$$ $$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$ $ $$$$$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$.

$$$$$$$$$$$$$$$$ $$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$ $$$$$$: $$$$$$ $ $$$$$$ $$$$$$$ $$$$$$$$$$, $$$$$$$$$$$$$ $$$$$$ $$$$$$$$$$, $$$$$ $$$$$$$$$$$$, $$$$$$$$$ $$$$$$. $ $$$$$$$$$$$$ $$$$$ $$$$$$ $$$$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$ $$$ $$$$$$ $$$$$$$$ $$$$$$$ $ $$$$$ $$$$$$$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$ $$$$. $$$ $$$$$$$$$ $$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$$$ $$$$$$ ($$$$$, $$$$$$, $$$$$$$$$$).

$$$$$$$$$$$$$ $ $$$$$$$$$$$$$$ $$$$$ $$$$$$ $$$$$$$$$ $$$$$$$$$$$$$$$ $$$$$ $ $$$$$$$$$$$ $$$$$$$$$$ $ $$$$$$$ $$$$$$$$$ $$$$$$$$ $ $$$$$$$ $$$$$$, $ $$$$$$$$$ $$$$$$ $. $$$$$$$$ ($$$$), $$. $$$$$$$$ ($$$, $$.$), $ $$$$$ $$$$$$$$$$ $$$$$$$ $$$$$$$ $ $$$$$$ $$ $$$$$$$$$$$$$ $$$$$$$ $$$$$$$$, $$$$$$$$ $$ $$$$$$$$$ $-$ $$$. $$$$$$$$$$$$$ $$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$ $$$$$$$ $$$$$$$$$$$$$$ $ $$$$$$$$$$$$$ $$$$$$$$$$ $ $$$$ $$$$$$ $$$$$$$$$$$.

Основные понятия и область применения деревьев решений в задачах классификации и регрессии

Деревья принятия решений представляют собой один из наиболее распространенных и интуитивно понятных методов машинного обучения, используемых для решения задач классификации и регрессии. Их популярность обусловлена, прежде всего, наглядностью получаемых моделей, которые легко интерпретируются человеком и могут быть представлены в виде набора логических правил. В современной научной литературе деревья решений рассматриваются как эффективный инструмент для анализа структурированных данных, позволяющий выявлять скрытые зависимости и закономерности, которые не всегда очевидны при использовании традиционных статистических методов [12].

Структурно дерево решений представляет собой иерархическую модель, состоящую из корневого узла, внутренних узлов и листьев. Каждый внутренний узел соответствует проверке некоторого условия по одному из признаков, а исходящие из него ветви представляют возможные значения этого признака или результаты проверки. Листовые узлы, или терминальные вершины, содержат итоговое решение — метку класса для задач классификации или числовое значение для задач регрессии. Процесс принятия решения заключается в последовательном спуске от корня к листу, где на каждом шаге происходит проверка условия и выбор соответствующей ветви в зависимости от значения анализируемого признака.

В контексте задач классификации основная цель построения дерева решений заключается в создании модели, способной на основе набора признаков отнести объект к одному из заранее определенных классов. Примерами таких задач могут служить диагностика заболеваний по симптомам, определение кредитоспособности заемщика, распознавание рукописных символов или классификация электронных писем на спам и не-спам. Для задач регрессии дерево решений предсказывает непрерывное числовое значение, например, стоимость недвижимости на основе ее характеристик, прогноз температуры воздуха или оценку времени выполнения задачи.

Ключевым преимуществом деревьев решений является их способность обрабатывать данные различных типов: как числовые (непрерывные), так и категориальные (номинальные). Это свойство значительно упрощает этап предварительной обработки данных, так как не требует масштабирования или кодирования признаков, что обязательно для многих других алгоритмов, например, для метода опорных векторов или нейронных сетей. Кроме того, деревья решений устойчивы к выбросам и пропущенным значениям, что является важным фактором при работе с реальными данными, которые часто содержат шумы и неполноту информации [13].

Область применения деревьев решений чрезвычайно широка и охватывает практически все сферы человеческой деятельности, где требуется анализ данных и принятие решений на их основе. В медицине деревья решений $$$$$$$$$$$$ $$$ $$$$$$$$$$ $$$$$$$$$$$$$$$ $$$$$$, $$$$$$$$$$$ $$ $$$$$$ $$$$$$$$$ и $$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$. В $$$$$$$$$$ $$$$$$$ $$$$$$ $$$$$ $$$$$$$$$$$ $$$ $$$$$$ $$$$$$$$$ $$$$$$, $$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$ и $$$$$$$$$$$$$$$ $$$$$$$$$ $$$$$$ $$$$$. В $$$$$$$$$$$$$$ деревья решений $$$$$$$$ $ $$$$$$$ $$$$$$$$ $$$$$$$$ $$$$$$$$$, $$$$$$$$$$$$$$$ $$$$$$$ $$$$$$$$$$$$ и $$$$$$$$$$$ $$$$$$$$$$$$$$$$ $$$$$$$$$.

$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$$ $$$$$$$$$$$ $ $$$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$, $$$ $$$$$ $$ $$$$$$ $$$$$$$$ $$$$$$$$, $$ $ $$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$ $$$$$$$$$. $ $$$$$$$ $$ $$$$$$ «$$$$$$ $$$$$$» $$$$$$$$$ $$$$$$$$, $$$$$$ $$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$ $$$$$$$, $$ $$$$$$$ $$$$ $$$$$$$ $$ $$$ $$$$ $$$$$$$. $$$ $$$$$$$$ $$$$$$$$ $$$$$$$$$$$$ $ $$$$$$$$$$$$ $$$$$$$$, $$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$ $$$$$$$, $$$$$$$$, $$$ $$$$$$ $$$$$$$$ $$$ $$$$$$$$$$ $$$$$$$.

$ $$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$ $ $$$$$ $$$$$$$$. $$$$$$$$, $ $$$$$$$ $$$$$$$$$$ $$$$$$$ $$$$$$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$ $$$$$$ $$$ $$$$$$$ $$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$, $$$ $$$$$$$ $$$$$$$ $$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$$$$$ $$$$ $$$$$$$ $$$$$$$ $$ $$$$$$$$$$$ $$$$$$$. $$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$ $ $$$$$$$$$$$$$$ $$$ $$$$$$$ $$$$$$$$$$$$ $$$$$$ $ $$$$$$$$$$$$ $$$$$$$ $$$$$$. $ $$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$ $$$$$$$ $$$$$$$$$$$$ $$$ $$$$$$$$$$ $$$$$$ $$$$$$$$$$$ $$$$$$$$$, $$$$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$$$$$ $ $$$$$$$$$$$$ $$$$$ [$$].

$$$$$$$$ $$ $$$$$$$$$ $$$$$$$$$$$, $$$$$$$ $$$$$$$ $$$$$ $ $$$$$$$$$$$$ $$$$$$$$$$$, $$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$ $$ $$$$$$$$$$$$ $$$$$$$$$$. $$$$$ $$ $$$$$$$ $$$$$$$ $$$$$$$$ $$$$$$$$$$ $ $$$$$$$$$$$$, $$$$$$$$ $$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$$, $$$$$$$ $$$$$$$$ $$$$$$$$$$$$$$ $$$ $$$$$$$$$ $$$$$$$, $$ $$$$$ $$$$$$$$$$ $$ $$$$$ $$$$$$. $$$$$ $$$$, $$$$$$$ $$$$$$$ $$$$$ $$$$ $$$$$$$$$$$$$: $$$$$$$$$ $$$$$$$$$ $ $$$$$$$$$ $$$$$$ $$$$$ $$$$$$$$ $ $$$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$ $$$$$$. $$$ $$$$$$$$$$$ $$$$ $$$$$$$$$$$ $$$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$$$, $$$$$ $$$ $$$$$$$$$ $$$ $ $$$$$$$$$$$ $$$$$$$, $$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$$$ $$$ $$$$$$$$$ $$$$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$.

$ $$$$$$$$$$ $$$$$$$ $$$$$$$$, $$$ $$$$$$$ $$$$$$$ $$$$$$$$ $$$$$ $$ $$$$$ $$$$$$$$$$$$$$ $ $$$$$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$$$$ $$$$$$$$. $$ $$$$$$$$, $$$$$$$$$$$$$$$$$$ $ $$$$$$$$$$$$$$$ $$$$$$ $$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$ $$$$$$$ $$$$$$$$ $$$$$ $$$$$ $$$$$$$ $$$$$$. $$$$$$$$$ $$$$$$$$ $$$$$$$ $ $$$$$$$$$ $$$$$$ $$$$$$$$ $$$$$$$ $$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$ $$$ $$$$$$$$$$$ $$$$$$$$ $$$$$ $$$$$$$ $$$$$$$ $ $$$$$$$$$$ $ $$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$.

Важным аспектом, определяющим практическую ценность деревьев решений, является их способность работать с признаками различной природы без необходимости сложной предварительной трансформации данных. В отличие от многих алгоритмов машинного обучения, требующих нормализации или стандартизации числовых признаков, деревья решений инвариантны к монотонным преобразованиям, поскольку принимают решения на основе сравнения значений с пороговыми величинами. Это свойство существенно упрощает этап предварительной обработки данных и снижает требования к квалификации пользователя. Кроме того, деревья решений способны автоматически выявлять нелинейные зависимости и взаимодействия между признаками, что делает их особенно эффективными при анализе сложных многомерных данных, где взаимосвязи между переменными носят нетривиальный характер.

В контексте задач классификации деревья решений демонстрируют высокую эффективность при работе с несбалансированными наборами данных, где количество объектов одного класса значительно превышает количество объектов другого класса. Данное преимущество достигается за счет возможности настройки весов классов и использования соответствующих критериев разбиения, которые учитывают дисбаланс. В работах современных российских исследователей отмечается, что грамотная настройка параметров дерева решений позволяет добиться высоких показателей точности даже в условиях значительного дисбаланса классов, что особенно актуально для задач обнаружения редких событий, таких как выявление мошеннических операций или диагностика редких заболеваний [27].

Особого внимания заслуживает способность деревьев решений к автоматическому отбору признаков, что является одним из их ключевых преимуществ перед многими другими методами машинного обучения. В процессе построения дерева на каждом шаге выбирается признак, обеспечивающий наилучшее разделение данных, что приводит к тому, что неинформативные признаки либо вовсе не используются, либо располагаются на нижних уровнях дерева и не оказывают существенного влияния на итоговое решение. Таким образом, дерево решений выполняет встроенный отбор признаков, что особенно ценно при работе с данными высокой размерности, где количество признаков может значительно превышать количество наблюдений. Это свойство позволяет не только повысить точность прогнозирования за счет устранения шумовых признаков, но и улучшить интерпретируемость модели, поскольку итоговое дерево содержит только наиболее значимые переменные.

В последние годы наблюдается активное развитие гибридных подходов, объединяющих деревья решений с другими методами машинного обучения. Например, перспективным направлением является использование деревьев решений для предварительного анализа данных и выявления наиболее информативных признаков, которые затем подаются на вход более сложным алгоритмам, таким как нейронные сети или методы опорных векторов. Такой подход позволяет существенно снизить размерность пространства признаков и улучшить качество работы последующих моделей. Другим интересным направлением является интеграция деревьев решений с методами нечеткой логики, что позволяет учитывать неопределенность и нечеткость входных данных, характерные для многих реальных задач.

Важно отметить, что эффективность применения $$$$$$$$ $$$$$$$ $$ $$$$$$ $$$$$$$ $$ $$$$$$$$ $$$$$$$$ $$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$$$$ $$$$$$$$$. $$$$$$$$$ $$$$$$$$$$$, $$$$$$$$$ $$ $$$$$$$$ $$$$$$, $$$$$$$$ $$$$$$$$$$$$ $$$$$$$ $$$$$$, $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $ $$$$$, $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$ $$$$$$$$$ $$$$, $ $$$$$ $$$$$$$$ $$$$$$ $$$$$$$$ $$$$$$$$$. $$$$$ $$$$$$$$$$$ $$$$$$$$ $$$$ $$$$$$$$$$ $$$$$$$$$$$$$$, $$$ $$$$$$$, $ $$$$$$$$$$$$$$ $$$$$$$ $$$$$$$$$$$$ $$$$$$$$, что $$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$ $ $$$$$$$$ $$$$$$, $$$$$$$$$$ $$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$. $ $$$$$$$ $$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$$, что $$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$ $$$$$$, $$ $$$$$$$$ $$$$$$$ $$$$$ применения $$$$$$$$ $$$$$$$ $$ $$$$$$$$ [$].

$ $$$$$ $$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$, $$$$$$$$$$ $$$$$$ $$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$. $$$$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$ $$$$$$$ $ $$$$$$ $$$$$$ $$$$$$$$$$ $($ * $ * $$$ $), $$$ $ — $$$$$$$$$$ $$$$$$$$ $ $$$$$$$$$ $$$$$$$, $ $ — $$$$$$$$$$ $$$$$$$$$. $$$$$$ $$$$$$ $$$$$$ $$$$$$$ $$$$$$$ $$$$$$$$$$$$$$$$ $$$ $$$$$$ $ $$$$$$$$ $$$$$$$$ $$$$$$, $$$$$$$$ $$ $$$$$$$$$ $ $$$$$$$$, $$$$$$$$$$ $$$$$$$ $$$$$$$$ $$$ $$$$$$$ $$$$$$$$$$$$$$$ $$$$$. $$$ $$$$ $$$$$ $$$$$$ $$$$$$$$$ $$$$$$ $$$ $$$$$$$$$$$$$ $$$$$$ $$$$$$$ $$$$$$$$ $$$$$$ $$$$$ $ $$$$$$$$$$$$$$$ $$$$$$$ $$$$$$, $$$ $$$$$$$$$ $$$$$$$$$$$$ $$$$$$$ $$$$$$$ $ $$$$$$$$ $$$$$$$$$ $$$$$$$.

$$$$$$$ $$$$ $$$$$$$$$$$$ $$$$$$$$ $$$$$$$ $ $$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$, $$$$$ $$$$$$$ $$$$$$$$$ $$$$$$. $$$$$$$ $$$$$$$ $$$$$$$$$$$$ $$$$$ $$$$$$ $ $$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$ $$$$$$, $$$$$$$$$$ $ $$$$ $$$$$$$$$$$ $ $$$$$$$$$$$$$$$$$$ $ $$$$$$$ $$$$$$$$$ $$$$$$$$$$$$$$$. $$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$ $$$$$$$$$ $$$$$, $$$$$$$$$$$$ $ $$$$$$$$ $ $$$$$$$$$$$ $$$$$$$$$, $ $$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$ $$$$$$$$$ $$$$$$ $$ $$$$$$$$$$$$ $$$ $$$$$$$ $$$$$$$$ $$$$$ $$$$$ $ $$$$$$$$$ $$$$$$$$$$ $$$$$$$$. $$$$$$$$ $$ $$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$, $$$$$ $$$ $$$$$$$$$$ $ $$$$$$$$$$$$, $$$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$ $ $$$$$$$$$$$$$$$ $$$$$$$$$ $$$$$$$ $$$$$$$$$$$$ $$$ $$$$$$$$$$. $$$$$$$$$$ $$$$$$$$ $$$$$$ $ $$$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$, $$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$$$ $ $$$$$$$$$ $ $$$$$$$$$$$$$ $$$$$$$, $$$$$$$$$ $$$$$ $$$$$$$$$$$ $$$ $$$$$$$$$$$$$ $$$$$$$ $$$$$$ $ $$$$$ $ $$$$$$$.

Критерии разбиения и меры неопределенности: энтропия, индекс Джини, среднеквадратичная ошибка

Центральным вопросом при построении дерева принятия решений является выбор оптимального критерия для разбиения узлов, поскольку именно от этого выбора зависит качество итоговой модели. Критерий разбиения определяет, какой признак и какое пороговое значение следует использовать для разделения данных в каждом узле, чтобы получить максимально однородные подмножества. В теории деревьев решений разработано несколько фундаментальных мер неопределенности, которые позволяют количественно оценить степень "чистоты" или "примесей" в узле. К числу наиболее распространенных критериев относятся энтропия, индекс Джини и среднеквадратичная ошибка, каждый из которых имеет свои математические основания и области предпочтительного применения.

Энтропия, заимствованная из теории информации Клода Шеннона, является одной из наиболее теоретически обоснованных мер неопределенности. В контексте деревьев решений энтропия измеряет степень хаоса или неопределенности в распределении классов внутри узла. Математически энтропия для узла с K классами вычисляется по формуле: H(S) = -Σ(p_i * log₂(p_i)), где p_i представляет собой долю объектов i-го класса в узле S. Значение энтропии достигает максимума, когда все классы представлены равномерно, что соответствует максимальной неопределенности, и обращается в ноль, когда узел содержит объекты только одного класса, то есть является полностью "чистым". При построении дерева решений на основе энтропии используется критерий прироста информации (information gain), который вычисляется как разность между энтропией родительского узла и средневзвешенной энтропией дочерних узлов после разбиения. Выбирается то разбиение, которое обеспечивает максимальный прирост информации, то есть наибольшее снижение неопределенности.

Индекс Джини является альтернативной мерой неопределенности, которая широко используется в алгоритме CART (Classification and Regression Trees). В отличие от энтропии, индекс Джини не требует вычисления логарифмов, что делает его вычислительно более эффективным. Индекс Джини для узла S вычисляется по формуле: Gini(S) = 1 - Σ(p_i²), где p_i — доля объектов i-го класса. Интерпретация индекса Джини аналогична энтропии: его значение равно нулю для полностью чистого узла и достигает максимума при равномерном распределении классов. Важной особенностью индекса Джини является то, что он более чувствителен к изменениям в распределении классов, особенно когда один из классов начинает доминировать. На практике оба критерия — энтропия и индекс Джини — часто дают схожие результаты, однако существуют ситуации, когда выбор одного из них может быть предпочтительнее. В работах современных российских исследователей отмечается, что индекс Джини несколько менее чувствителен к выбросам и может быть более устойчивым при работе с зашумленными данными [6].

Для $$$$$ $$$$$$$$$, $$$ $$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$, $$$$$$$$$$$$ $$$$ $$$$$$$$ $$$$$$$$$, $$$$$$$$$$ $$ $$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$$$$$$$$$$ $$$$$$ ($$$ — $$$$ $$$$$$$ $$$$$). $ $$$$ $$$$$$ $$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$, $ $$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$$$$$ $$$$$$$$$$$ $$$$$$ $$$$ $ $$$$$. $$$$$$$$ $$$$$$$$$$$$$$$$$$ $$$$$$ $$$ $$$$ $ $$$$$$$$$$$ $$$ $$$$$$$ $$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$$$$$ $$ $$ $$$$$$$$ $$$$$$$$ $ $$$$$$ $$$$: $$$($) = ($/$) * $($$$ - $)$, $$$ $$$ — $$$$$$$$ $$$$$$$ $$$$$$$$$$, $ — $$$$$$$ $$$$$$$$ $ $$$$, $ — $$$$$$$$$$ $$$$$$$$. $$$ $$$$$$$$$ $$$$$$$$$$ $$$$$ $$$$$$$$$$, $$$$$$$ $$$$$$$$$$$ $$$$$$$ $$$$$$$$$$ $$$$$ $$$ $$$$$$$$ $$$$$. $$$$$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$$$$$ $$$$$$$$$$ ($$$), $$$$$$$ $$$$$ $$$$$$$$$ $ $$$$$$$$, $$$$$$ $$$ $$$$$$$$ $$$$$ $$$$$$$$$$$$$$$$ $$$$$$$ $$$$$$$$$ $$$$$ $$$$$$$$$$$$$$ $$$$$$$$$.

$$$$$$$$$$$$$ $$$$$$ $$$$$$$$$ $$$$$$$$$ $$$$$$$$$ $$$$$$$$$$, $$$ $$$$$ $$$$$$$$$$ $$$$ $$$$$$$$$$$$$$$$ $$$$$ $$$$$$$$$$$ $$$$$$ $$ $$$$$$$$$ $ $$$$$$$$ $$$$$$$$$ $$$$$$. $$$$$$$$, $$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$ $$ $$$$$$ $$$$$$$$$$, $$$$$ $$$$$$$$ $ $$$$$$$$$$ $$$$$ $$$$$$$$$$$$$$$$ $$$$$$$$, $$$ $$$$$ $$$$ $$$$$$$$$$$$$ $$$ $$$$$$ $ $$$$$$$, $$$ $$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$. $$$$$$ $$$$$, $$$$$$$$, $$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$ $$$$$ $$$$$$ $$$$$$$ $ $$$$$ $$$$$$$$$ $ $$$$$$$$$$ $$$$$$$$ $ $$$$$$$ $$$$$$$$$$$ $$$$$, $$$ $$$$$$$$ $$ $$$$$$$$$$$$$. $ $$$$$$$ $$$$$$$$$ $$$ $$$$$$$$ $$$$$$$$$$$$ $$$$$$$, $$$$$$$$$ $$$ $$$$$$$$ $$$$$$$ $ $$$$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$$$, $$$$$$ $$ $$$$$$$$$$$$$$$$ $ $$$$$$$$ $$$$$ $$$$ $$$$$$$$$$$ $$$ $$$$$$ $ $$$$$$$, $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$.

$$$$$ $$$$$$$$, $$$ $ $$$$$$$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$$$$ $$$$$$, $$$ $$$$$$$ $$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$$$$$$$ $$ $$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$. $ $$$$$$$ $$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$$, $$$ $$ $$$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$, $$$$$$$ $$$ $$ $$$$$$$$$$$ $$$ $$$$ $$$$$ $$$$$$ $ $$$$$. $$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$$ $$$$$$ $$$$$$$$$$ $$$$$$$$$ $$ $$$$$ $$$$$$$$$ $$$$$$ $ $$$$$$$$ $$$, $$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $$ $$$$$$$$$$$$$ $$$$$$$ [$$].

$$$$$ $$$$, $ $$$$$$$$$ $$$$ $$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$$$ $$$$ $$$$$$$$$$$$$$$$, $$$$$ $$$ $$$$$$$$ $$$-$$$$ $$$ $$$$$$$$ $$-$$$$$$$, $$$$$$$ $$$$$ $$$$ $$$$$ $$$$$$$$$$$$ $ $$$$$$$$$$$$$ $$$$$$$$. $$$$$$$$, $$$$$$$$ $$$-$$$$ $$$$$$$$$ $$$$$$$$$ $$ $$$$$$ $$$$$$$ $$$$$$$, $$ $ $$ $$$$$$$$ $$$$$$$$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$, $$$ $$$$$ $$$$ $$$$$$$ $$$ $$$$$$ $ $$$$$$$, $$$$$$$$ $$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$. $$$$$$ $$$$$$ $$$$$$ $$$$ $$ $$$$$$$$ $$$$$$$$ $$$$$$$$$$$$$$$ $ $$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$$$.

Практическая реализация критериев разбиения требует учета особенностей данных различных типов. Для числовых (непрерывных) признаков процесс разбиения заключается в переборе всех возможных пороговых значений и выборе того, которое обеспечивает наилучшее разделение. Поскольку полный перебор всех уникальных значений признака может быть вычислительно затратным, на практике часто используется сортировка значений и проверка только точек, расположенных между соседними значениями. Такой подход позволяет существенно сократить количество рассматриваемых вариантов без потери качества разбиения. Для категориальных признаков разбиение может осуществляться двумя способами: либо каждое уникальное значение признака образует отдельную ветвь (как в алгоритме ID3), либо производится бинарное разбиение на два подмножества значений (как в алгоритме CART). Выбор конкретного подхода зависит от количества уникальных значений признака и специфики решаемой задачи.

Важным аспектом, который необходимо учитывать при использовании критериев разбиения, является проблема переобучения. Критерии, основанные на минимизации неопределенности, имеют тенденцию выбирать разбиения, которые максимально точно подстраиваются под обучающую выборку, что может приводить к построению излишне глубоких и сложных деревьев. Для предотвращения переобучения используются различные методы регуляризации, такие как ограничение максимальной глубины дерева, установление минимального количества объектов в листе или минимального порога снижения неопределенности для выполнения разбиения. В современных исследованиях российских авторов предлагаются адаптивные методы регуляризации, которые автоматически подбирают параметры ограничений в зависимости от характеристик данных [14].

Особого внимания заслуживает вопрос выбора критерия разбиения для многоклассовых задач, где количество классов может достигать десятков и сотен. В таких случаях стандартные меры неопределенности, такие как энтропия и индекс Джини, могут демонстрировать снижение эффективности, поскольку они не учитывают взаимосвязи между классами. Для решения этой проблемы разработаны специализированные критерии, такие как энтропия с поправкой на количество классов или взвешенные версии индекса Джини, которые позволяют более адекватно оценивать качество разбиения в условиях большого числа классов. Кроме того, в многоклассовых задачах часто используется стратегия "один против всех" (one-vs-all), при которой для каждого класса строится отдельное бинарное дерево решений.

С вычислительной точки зрения, расчет критериев разбиения требует определенных затрат ресурсов, особенно при работе с большими наборами данных. Для ускорения процесса обучения используются различные оптимизационные приемы, такие как предварительная сортировка данных, использование хэш-таблиц для быстрого подсчета частот классов, а также параллельные вычисления. В работах российских ученых отмечается, что грамотная оптимизация вычислений позволяет сократить время обучения дерева решений в несколько раз без потери качества модели [30]. Особенно актуальными эти методы становятся при построении ансамблей деревьев, где требуется обучать сотни и тысячи отдельных моделей.

Интересным направлением современных исследований является разработка адаптивных критериев разбиения, которые автоматически выбирают наиболее $$$$$$$$$$ $$$$ $$$$$$$$$$$$$$$$ $ $$$$$$$$$$$ $$ $$$$$$$$$$$$$ $$$$$$ $ $$$$$$$$$$ $$$$. $$$$$$$$, $$ $$$$$$$ $$$$$$$ $$$$$$, $$$ $$$$$$ $$$$$$$$$$$$ $ $$$$$$$ $$$$$$, $$$$$ $$$$$$$$$$$$$$ $$$$$$$$, $$$$$$$$$$$$$$ $$$$$ $$$$$$ $$$$$$$$$$, $ $$ $$$$$$ $$$$$$$, $$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$, $$$$$ $$$$$$$$$$$ $$$$$$ $$$$$, $$$$$ $$$$$$$$$$$$$$ $ $$$$$$$$$$$$$$ $$$$$$$$$$$. $$$$$ $$$$$$$$$$ $$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ критериев $ $$$$$$$$ $$$$$ $$$$$$$$ $$$$$$.

$ $$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$ $$$$$ $$$$$$$$, $$$ $$$$$ $$$$$$$$ $$$$$$$$$ $$ $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$, $$$$$$$$$$$$ $$$$$$$$ $$$$$$ $$$$$$$. $$ $$$$$ $$$$$$$ $$$$$$$$ $$$$$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$, $$$$$$$$$ $$$$$$$ $$$$$$, $ $$$$$ $$$$$$$ $$$$$$$$$ $$$$$$$$. $$$ $$$ $$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$$$ $ $$$$$$$$$, $ $$$$$$ $$ $$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$$$$$$$ $$$$$$. $ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$ $ $$$$$$$$$$ $$$$$$$$ $$$$$$$, $$$ $$$$$$$ $$$$$$ $$$$ $$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$$ $ $$$$$$$$$$$$$$ $$$ $$$$$$$$$$ $$$$$$ [$].

$$$$$$$ $$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$ $ $$$ $$$$$$$$$$$$$$$$, $$$$$ $$$$$$$ $$$$$$$$$ $$$$$$. $$$$$$$$, $$$$$$ $$$$$ $ $$$$$$$$$$$$$$$$$$ $$$$$$ $$$$$$$$ $$$$$$$$$$$$$$$$ $$$$$$, $$ $$$$$$$ $$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$. $$$$$$ $$ $$$$ $$$$$$$$$ $$$$$ $$$$ $$$$$$$$$$$$$ $$$$$$$$$, $$$$$$$$$$$$ $ $$$$$$$$$$$, $ $$$$$ $$$$$$$$$$$ $$$$$$$$ $$$$$$ $$$$$$$$$$$$$$ $ $$$$$$ $$$$ $$$$$$$$ $$$$$$, $$$$$$$$$$$$$ $$$$$$ $ $$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$$$$. $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$ $ $$$$$$$$$ $$$$$$$$$$$$$$$$ $ $$$$$ $$$$$$$$ $ $$$$$$$$$$ $$$$$$$$$$$$$$$$ $$$$$$$$, $$$$$$ $$$$$$$ $$$$$$$$$$ $$$$$$$$$$. $$$$$$ $$$$$ $$$$$$$$ $$$$$$$$$$$$$ $$$$$ $$$$$$$$$$$ $ $$$$$ $$$$$$$$$$$$$$ $ $$$$$$$$, $$$ $$$$$$ $$$ $$$$$$$$$$$$$$$$ $$$$$$$ $$$ $$$$$$ $$$$$$$$$$$$ $$$$$. $$$$$$$$$$$$$$$$$$ $$$$$$ $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$$$$$ $$$$$, $$ $$$$$$$ $$$$$$$$$$$ $$$$$$$$$ $ $$$$$$$$$. $$$$$$$$$$ $$$$$$$$ $$$$$$ $$$$$$$$$ $$$$$$$$$ $$$$$$$ $ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$, $$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$ $$$$ $$$$$$$$$$$$$$$$ $ $$$$$$$$$$$ $$ $$$$$$$$$$$$$ $$$$$$, $ $$$$$ $ $$$$$$$$$ $$$$$$$$$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$$$$$$ $$$$$ $ $$$$$ $ $$$$$$$$$$$$$$$$$$$ $$$$$$$.

Методы борьбы с переобучением: стрижка (pruning), ограничение глубины и минимального числа объектов в листе

Одной из ключевых проблем, возникающих при построении деревьев принятия решений, является переобучение (overfitting), которое проявляется в том, что модель чрезмерно точно подстраивается под обучающую выборку, улавливая не только закономерности, но и случайные шумы и выбросы. Переобученное дерево, как правило, имеет избыточную глубину и сложную структуру, что приводит к отличным показателям на обучающих данных, но к существенному снижению точности при применении к новым, ранее не встречавшимся данным. Решение данной проблемы является одной из центральных задач при разработке алгоритмов деревьев решений, и для ее решения разработано несколько эффективных методов, среди которых наиболее распространенными являются стрижка (pruning), ограничение максимальной глубины дерева и установление минимального количества объектов в листовом узле.

Стрижка, или обрезка дерева, представляет собой процесс удаления избыточных ветвей и узлов, которые не вносят существенного вклада в обобщающую способность модели. Различают два основных подхода к стрижке: предварительную стрижку (pre-pruning) и последующую стрижку (post-pruning). Предварительная стрижка осуществляется в процессе построения дерева и заключается в остановке дальнейшего разбиения узла при выполнении определенных условий, например, если прирост информации от разбиения оказывается ниже заданного порога или если количество объектов в узле становится меньше установленного минимума. Данный подход является вычислительно эффективным, поскольку позволяет избежать построения избыточных ветвей, однако требует тщательного выбора пороговых значений, которые могут существенно влиять на качество итоговой модели [5].

Последующая стрижка, напротив, выполняется после того, как дерево построено полностью, и заключается в рекурсивном удалении или замене поддеревьев на листовые узлы. Наиболее распространенным методом последующей стрижки является алгоритм сокращения ошибки (reduced error pruning), при котором каждое поддерево заменяется на листовой узел, содержащий наиболее часто встречающийся класс, и оценивается изменение ошибки на валидационной выборке. Если замена приводит к снижению или сохранению ошибки, то поддерево удаляется. Другим популярным методом является стрижка с использованием стоимости-сложности (cost-complexity pruning), который учитывает не только ошибку классификации, но и сложность дерева, измеряемую количеством листовых узлов. Данный метод позволяет найти оптимальный баланс между точностью и простотой модели, минимизируя штрафную функцию, включающую как ошибку, так и сложность дерева с регулируемым коэффициентом.

Ограничение максимальной глубины дерева является одним из наиболее простых и эффективных методов предотвращения переобучения. Суть данного подхода заключается в установлении верхнего предела для количества уровней дерева, начиная от корневого узла. При достижении заданной глубины дальнейшее разбиение узлов прекращается, и они автоматически становятся листьями. Выбор оптимальной глубины зависит от сложности данных и решаемой задачи: слишком малая глубина может привести к недообучению, когда модель не способна уловить существующие закономерности, а слишком большая глубина — к переобучению. В работах современных российских исследователей отмечается, что оптимальная глубина дерева, как правило, находится в диапазоне от 3 до 10 уровней для большинства практических задач, однако точное значение должно определяться экспериментально $ $$$$$$$$$$$$$$ методов $$$$$$$$$$$$ $$$$$$$$ [$$].

$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $ $$$$$$$$ $$$$ $$$$$$$$ $$$ $$$$$ $$$$$$$$$$$ $$$$$$$ $$$$$$$$$$$$$, $$$$$$$ $$$$$$$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$ $ $$$$$$$$$$$ $$$$$$$$$$$ $$$$$$. $$$$$$ $$$$$$$$ $$$$$$$$$$, $$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$ $$$$$$$$$$$ $ $$$$$$ $$$$$ $$$$$$. $$$$ $ $$$$$$$$$$ $$$$$$$$$ $$$$$-$$$$ $$$$$$$$ $$$$ $$$$$$$$ $$$$$$ $$$$$$$$, $$$ $$$$$$$$$$$$$ $$$$$$$, $$ $$$$$$$$$ $$ $$$$$$$$$$$, $ $$$$ $$$$$$$$ $$$$$$$$. $$$$$$ $$$$$$ $$$$$$$$ $$$$$$$$$$ $$$ $$$$$$ $ $$$$$$$$$$$$ $$$$$$$, $$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$ $$$$$, $$$$$$$$$$ $$ $$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$. $$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $ $$$$$ $$$$$$ $$$$$$$$$$ $ $$$$$$$$$ $$ $ $$ $$ $$$$$$$$$ $$ $$$$$$ $$$$$$$ $$$$$$$$$ $$$$$$$, $$$$$$ $$$$$$ $$$$$$$$ $$$$$$$ $$ $$$$$$$$$$ $$$$$$ $ $$$$$$ $$$$$$$$$ $$$$$$.

$$$$$ $$$$$$$$, $$$ $$$$$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$ $$ $$$$$$$$ $$$$$$$$$$$$$$$$$$ $ $$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$. $$$$$$$$, $$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$ $$$$$$, $$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $ $$$$$ $ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$ $$$ $$$$$$$$ $$$$$$$$$$ $$$$$$. $$$$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$$ $$$$$$$$$ $$$$$ $$$$$ $$$$$$$$$ $$$$$$$$$$ $$$$$$ $ $$$$$$$$$ $$$$$$$$$$$$ $$$$$$$ $$$$$ $$$$$$$$$ $ $$$$$$$$$$. $ $$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$ $$$$$$$ $$$$$$$$$ $$$$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$$ $$$$$$$$$$$$$ $ $$ $$$$$$$ $$ $$$$$$$$ $$$$$$$$ $$$$$$$ [$$].

$$$$$$$ $$$$$$$$ $$$$$$$$$$$ $$$$$$ $$$$$$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$$. $$ $$$$$$$$ $$$ $$$$ $$$$ $$$$$$$$$$$$ $$$$$$ $$$$$$$$$$$$ $$$$$$$$, $$$$$ $$$ $-$$$$$$$ $$$$$$$$$$$$ $$$$$$$$ ($-$$$$ $$$$$-$$$$$$$$$$), $$$$$$$ $$$$$$$$$ $$$$$$$ $$$$$$$$$$ $$$$$$$$$$$ $$$$$$ $$$ $$$$$$$$$ $$$$$$$$$ $$$$$$$$$$ $ $$$$$$$ $$$$$$$$$ $$$$$$$$$$. $$$$$ $$$$$$$$, $$$ $$$$$$$ $$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$ $$$$$$$$$$$ $$ $$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$, $$$$$ $$$$$$$$ $$$$$$ $$$$$$$$$$ $$ $$$$$$$$ $$$$$$$ $ $$$$$$$$ $$$$$$$$$$$ $$$$$$ $$$$$$$$ $$$$$$.

$ $$$$$$$$$ $$$$ $ $$$$$$$$$$ $$$$$$$ $$$$$$$$$$ $$$$$$$ $$$$$$$$$$$ $$$$$ $$$$$$$ $ $$$$$$ $ $$$$$$$$$$$$$, $$$$$$$$$$ $$ $$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$ $ $$$$$$$$$$$ $$$$$$. $$$$$$$$, $$$$$$$$$$$ $$$$$$$ $$$$$$$ $$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$$$$$ $ $$$$$$$ $$$$$$$$$$ $ $$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$ $$$ $$$$$$$$$$$$$ $$$$$$ $$$$$$$ $$$$$$$$$ $$$$$$$$. $$$$$$$$$$$ $$$$$$, $$$$$ $$$ $$$$$$$$$ $$$ $ $$$$$$$$$$$ $$$$$$$, $$$$$ $$$$$$ $$$$$$$$ $$$$$$$$$$$$ $$ $$$$ $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$, $$$$$$ $$ $$$$$$$ $$$$$ $$$$ $$$$$$$$$$$, $$ $ $$$$$$$$$$$$ $$$ $$$$ $$$$$$$$$$ $ $$$$$$ $$$$$$$.

$$$$$ $$$$$$$, $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$ $$$$$ $$ $$$$$$$$$$$ $$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$, $ $$$ $$ $$$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$. $$$$$$$, $$$$$$$$$$$ $$$$$$$ $ $$$$$$$$$$$$ $$$$$ $$$$$$$$ $ $$$$$ $$$$$$$$ $$$$$$$$ $$$$$$$$$$$$$$$$$ $ $$$$$$ $$$$$$$$$$$$$$$$$$ $$$$ $$$$$$$$$, $$$$$$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$ $$$$$$. $$$$$ $$$$$$$$$$ $$$$$$$ $ $$$$$$$$ $$ $$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$$ $$ $$$$$$ $$$$$$$ $$$$$$$$$$$$$ $$$$$$ $ $ $$$$$$$$$$$$$$ $$$$$$$ $$$$$$$$$$$$ $$$$$$$$. $$$$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$ $ $$$$$$$$$$$$$ $$$$$$$ $ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$, $$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$$$$ $ $$$$$$$$$$$ $$ $$$$$$$ $$$$$$$$$ $$$$$$$.

Практическая реализация методов борьбы с переобучением требует учета специфики решаемой задачи и характеристик доступных данных. Например, при работе с небольшими наборами данных, где каждый объект имеет высокую информационную ценность, особое внимание следует уделять выбору пороговых значений для предварительной стрижки, поскольку слишком агрессивное ограничение роста дерева может привести к потере значимых закономерностей. В таких случаях предпочтительным может оказаться использование последующей стрижки, которая позволяет сначала построить полное дерево, а затем удалить избыточные ветви на основе анализа их вклада в обобщающую способность модели. В работах российских исследователей подчеркивается, что для малых выборок особенно эффективным является метод стрижки с использованием стоимости-сложности, который позволяет найти оптимальный баланс между точностью на обучающих данных и сложностью модели [1].

Важным аспектом, который необходимо учитывать при применении методов регуляризации, является их влияние на интерпретируемость дерева решений. Одним из ключевых преимуществ деревьев решений является их наглядность и возможность объяснения принятых решений, однако избыточно сложные деревья теряют это свойство. Методы борьбы с переобучением, такие как ограничение глубины и стрижка, способствуют построению более компактных и понятных моделей, что повышает их практическую ценность в задачах, где требуется объяснение результатов. Например, в медицинской диагностике или кредитном скоринге компактное дерево решений позволяет легко проследить логику принятия решения и выявить ключевые факторы, влияющие на результат.

С вычислительной точки зрения, методы борьбы с переобучением могут существенно влиять на время обучения модели. Предварительная стрижка, как правило, ускоряет процесс построения дерева, поскольку позволяет избежать создания избыточных ветвей. Последующая стрижка, напротив, требует дополнительных вычислительных затрат на построение полного дерева и последующий анализ его структуры. Однако в большинстве практических задач эти затраты являются приемлемыми, особенно учитывая значительное повышение качества модели. Важно отметить, что использование методов перекрестной проверки для выбора оптимальных параметров регуляризации также требует дополнительных вычислительных ресурсов, однако это является стандартной практикой в современном машинном обучении.

Интересным направлением современных исследований является разработка адаптивных методов регуляризации, которые автоматически подстраивают параметры ограничений в зависимости от характеристик данных в процессе построения дерева. Например, можно динамически изменять порог прироста информации для выполнения разбиения в зависимости от глубины узла или количества объектов в нем. Такой подход позволяет более гибко управлять сложностью дерева и часто приводит к построению моделей, которые превосходят по качеству модели с фиксированными параметрами регуляризации. В российских научных публикациях последних лет активно обсуждаются различные варианты адаптивных методов и их эффективность на реальных задачах [24].

Особого внимания заслуживает вопрос взаимодействия методов борьбы с переобучением и методов обработки пропущенных значений. Пропущенные значения в данных могут существенно усложнить процесс построения дерева и повысить риск переобучения, поскольку алгоритм может создавать сложные правила для обработки пропусков, которые не обобщаются на новые данные. Для решения $$$$ $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$, $$$$$ $$$ $$$$$$$$$ пропущенных значений, $$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$ пропусков в процесс $$$$$$$$$ $$$ $$$$$$$$$ $$$$$$$$$. $$$$$ $$$$$$$$$$$ $$$$$$ обработки пропусков $$$$$$ $$$$$$$$$$$$$$ с $$$$$$ $$$ $$$$$$$ на $$$$$$$$$$$$ и $$$$$$$$$$ $$$$$$$$$$$ $$$$$$.

$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$, $$$$$ $$$ $$$$$$$$$ $$$ $ $$$$$$$$$$$ $$$$$$$, $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$ $$ $$$$ $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$. $$$$$$ $$$$ $ $$$$$$$$$ $$$$$ $$$$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$ $$$$$$$$, $$$$$$$$$ $$$$$$$ $$$$$$$$ $ $$$$$$$$$$$$$ $$$$$$$ $$$$$ $$$$$$$$$ $$$$$$ $$ $$$$$ $$$$$$$$ $$$$$$$$. $ $$$$$$$$$ $$$$, $$$$$$$$, $$$$$$$ $$$$$$ $$$$$$$$ $$$ $$$$$$$, $$ $ $$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$, $$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$$ $ $$$ $$$$ $$ $$$$$$$$$$$$$ $$$$$$. $ $$$$$$$$$$$ $$$$$$$$, $$$$$$$$, $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$ ($$$$$$ $$$$$$$$ $$ $ $$ $ $$$$$$$), $$$$$$$ $$$$$$$$$ $$$$$$$$$$$$$$$ $ $$$$$$$$$$$$ $$$$$$ $$$$$$$$$$ $$$$$$$.

$$$$$$$ $$$$ $$$$$$$$$$$$ $$$$$$$ $$$$$$ $ $$$$$$$$$$$$$ $$$$$$$$ $$$$$$$, $$$$$ $$$$$$$ $$$$$$$$$ $$$$$$. $$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$, $ $$$ $$ $$$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$, $$$$$$$ $$$$$$$, $$$$$$$$$$$ $$$$$$$ $ $$$$$$$$$$$$ $$$$$ $$$$$$$$ $ $$$$$. $$$$$$ $$ $$$$ $$$$$$$ $$$$$ $$$$ $$$$$$$$$$$$ $ $$$$$$$$$$$, $ $$$$$ $$$$$$$$$$$ $$$$$$$ $$$$$$ $$$$$$$$$$$$$$ $ $$$$$$ $$$$$$$$$$$$$ $$$$$$ $ $$$$$$$$$$ $ $$$$$$. $$$$$$$$$$$$$$$ $$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$$$$$ $$$$$$ $$ $$$$$ $$$$$$$$, $$ $$$$$$$ $$$$$$$$$$$ $$$$$$ $$$$$$$$$ $$$$$$$$. $$$$$$$$$$$ $$$$$$$ $$$$$$$$$$$$ $$$$$ $$$$$$ $$$$$$$$$$ $$$$$$$$$$ $$$$$$ $$ $$$$ $$$$$$$ $$$ $$$$$$$$$$$$ $$$$$$, $$ $$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$. $$$$$$$$$$$ $$$$$$$ $ $$$$$$$$$$$$ $$$$$ $$$$$$$$ $ $$$$$ $$$$$$$$ $$$$$$$$ $ $$$$$$$$$$$$ $$$$$$$$, $$$$$$$ $$$$$$ $$$$$$$$ $ $$$$$$$$$ $ $$$$$$$ $$$$$$$$$. $$$$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$ $$$$$$$ $$$$$$$$$$$$ $$$$$$$ $$$$$ $$$$$$$$$ $ $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$, $ $$$$$$$$$$$$$ $$$$$$$ $$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$ $$$$$ $$$$$$$$$$. $$$$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$ $ $$$$$$$$$$$$$ $$$$$$$ $ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$, $$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$$$$ $ $$$$$$$$$$$ $$ $$$$$$$ $$$$$$$$$ $$$$$$$, $ $$$$$ $ $$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$ $ $$$$$$$$$$$ $$$$$$.

Проектирование структуры данных и реализация рекурсивного алгоритма построения дерева

Разработка эффективного алгоритма дерева принятия решений начинается с тщательного проектирования структуры данных, которая будет лежать в основе программной реализации. Правильный выбор структур данных определяет не только производительность алгоритма, но и его удобство для дальнейшего расширения и модификации. В рамках данной работы была разработана иерархическая структура, основанная на объектно-ориентированном подходе, которая позволяет гибко представлять узлы дерева, хранить информацию о разбиениях и обеспечивать эффективный доступ к данным в процессе обучения и прогнозирования.

Центральным элементом разработанной структуры является класс Node, представляющий узел дерева. Каждый узел содержит следующие поля: признак, по которому производится разбиение, пороговое значение для числовых признаков или множество значений для категориальных признаков, ссылки на левый и правый дочерние узлы, значение прогноза для листового узла, а также статистическую информацию, такую как количество объектов в узле и распределение классов. Для внутренних узлов значение прогноза не определено, поскольку решение принимается на основе анализа дочерних узлов. Для листовых узлов, напротив, значение прогноза является основным полем, определяющим результат классификации или регрессии. Такая структура обеспечивает естественное представление иерархии дерева и позволяет легко реализовать рекурсивные алгоритмы обхода.

Для хранения обучающих данных был разработан класс Dataset, который обеспечивает удобный интерфейс для доступа к признакам и целевой переменной. Данный класс хранит матрицу признаков и вектор целевых значений, а также метаинформацию о типах признаков (числовые или категориальные) и их названиях. Важной особенностью разработанной структуры является поддержка эффективного разделения данных на подмножества при выполнении разбиения узла. Для этого в классе Dataset реализован метод split, который принимает индекс признака и пороговое значение и возвращает два новых объекта Dataset, содержащих объекты, удовлетворяющие условию разбиения и не удовлетворяющие ему соответственно. В работах российских исследователей отмечается, что эффективная реализация операции разделения данных является критически важной для производительности алгоритма, особенно при работе с большими наборами данных [16].

Реализация рекурсивного алгоритма построения дерева является ключевым этапом разработки. Алгоритм начинается с проверки условий остановки: если все объекты в текущем узле принадлежат одному классу, если количество объектов меньше заданного минимума или если достигнута максимальная глубина дерева, то узел становится листовым, и ему присваивается прогноз, соответствующий наиболее часто встречающемуся классу (для классификации) или среднему значению целевой переменной (для регрессии). Если условия остановки не выполнены, алгоритм перебирает все признаки и для каждого признака вычисляет наилучшее пороговое значение, используя выбранный критерий разбиения. Для числовых признаков пороговое значение выбирается путем сортировки уникальных значений признака и проверки точек между ними. Для категориальных признаков рассматриваются все возможные бинарные разбиения на подмножества значений.

Выбор наилучшего разбиения осуществляется на основе максимизации прироста информации для задач классификации или минимизации среднеквадратичной ошибки для задач регрессии. Для вычисления прироста информации используется энтропия или индекс Джини, в зависимости от настроек алгоритма. После выбора наилучшего признака и порогового значения создается внутренний узел, и данные разделяются на два подмножества. Затем алгоритм рекурсивно вызывается для каждого из дочерних узлов, передавая соответствующие подмножества данных. Процесс продолжается $$ $$$ $$$, $$$$ $$ $$$$$ $$$$$$$$$ $$$$$$$ $$$$$$$$$ для $$$$ $$$$$$ $$$$$$. $$$$$$ $$$$$$$$$$$ $$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$ и $$$$$$$$$$ $$$$$$$$$$$$$ алгоритма, $$$$$$ $$$$$$$ $$$$$$$$$$$ $$$$$$$$$ $ $$$$$$$$ $$$$$$$$ для $$$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$ $$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$$.

$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$ $ $$$$$$. $ $$$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$ $$$$$$, $$$$$$$$$$ $$ $$$$$$$$$$$ $$$$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$$ $ $$ $$$$$$$$ $$$$$$$$$, $$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$$$$$ $$$$$$$$. $$$$$$ $$$$$$, $$$$$$$$$ $$$ "$$$$$$$$$$$ $$$$$$$$$", $$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$ $$$ $$$$$$ $$$$$$$$$$ $ $$$ $$$$$$$$$$$$$ $$$$$$$$$$$$$$$ $$$$$$$$$ $$$$$$. $$$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$ $$$ $$$$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$$, $$$$$$ $$$ $$$$$ $$$$$$$$$ $ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$. $ $$$$$$$ $$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$$, $$$ $$$$$ $$$$$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$ $$$$$$ $$$$$$$$$$$$$$ $ $$$$$$ $$$$$$$$$ $$$$$$ $ $$$$ $$$$$$$$$ $ $$$ [$].

$$$ $$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$ $ $$$$$$$$ $$$$$$$$ $$$$$$ $$$$ $$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$. $$-$$$$$$, $$$$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$$$$ $$$$$ $$$$$$ $$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $ $($$) $$ $($ $$$ $), $$$ $ — $$$$$$$$$$ $$$$$$$$. $$-$$$$$$, $$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$$$$$ $$$ $$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$ $$$$$$. $-$$$$$$$, $$$$$$$$$$ $$$$$$$$$ $ $$$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$ $$$$$$ $$$$$$$$$$$$ $$$ $$$$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$ $$$$$ $$$$$$$. $$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$$$$$$$ $$$$$$$$$ $ $$$$$$$ $$$ $$$$$$$$$ $$$ $$$$$$ $ $$$$$$$$$ $$$$$$$$ $$$$$$.

$$$$$$$ $$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$$$ $$$ $$$$$ $$$$$$$$. $$$$$$$ $$$$$$$$$$$$$$$ $$$$$$$$$$$ $ $$$$$$$$$$$ $$$$$$ $$ $$$$$$ $$ $$$$$$$$$ $$$$ $$ $$$$$$$$$. $$ $$$$$$ $$$$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$$, $$$$$$$$$$ $ $$$$$$$ $$$$, $ $ $$$$$$$$$$$ $$ $$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$ $$$$$$$$$$ $$$$$ $$$ $$$$$$ $$$$$$$$ $$$$. $$$$$$$ $$$$$$$$$$$$ $$ $$$$$$$$$$ $$$$$$$$$ $$$$, $$$$$ $$$$ $$$$$$$$$$$$ $$$$$$$$$$ $ $$$ $$$$$$$$$$ $$$$$$$$. $$$$$$ $$$$$$ $$$$$$$$$$$$ $$$$$$$ $$$$$$$$ $$$$$$$$$$$$$$$, $$$$$$$$$$$$$$$$ $$$$$$$ $$$$$$, $$$ $$$$$$ $$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$$$$$ $ $$$$$$$$ $$$$$$$$$ $$$$$$$.

$ $$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$$ $$$$$ $$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$. $$$ $$$$$ $$$ $$$$$$$$$$ $$$$$, $$$$$$$ $$$$$$$$$$ $$$$$$$ $$$$$$ $ $$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$$$ $$$$$$$$$$$$$ $$$ $$$$$$$$$. $$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$ $ $$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$ $ $$$$$$ $$$$, $ $$$$$ $ $$$$$$$$$$$$$ $$$$$$$ $ $$$$$$$$ $$$$$. $$$$$$ $$$$$$$$$$$$$$$$ $$$$$$$$ $$$$$$ $$$ $$$$$$$ $ $$$$$$$$$$$$$ $$$$$$, $$$$$$$$ $$$$$$$$$$$$$ $$$$$$ $$$$$$ $$$$$$$$ $$$$$$$ $ $$$$$$$ $$$$$$$$ $$$$$$$$, $$$$$$$$ $$ $$$$$$$$$. $ $$$$$$$ $$$$$$$$$$ $$$$$$$ $$$$$$$$$$, $$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$ $$$$$ $$ $$$$$$$$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$ $$$$$$$ $$$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$$$ [$$].

$$$$$ $$$$$$$, $$$$$$$$$$$$$ $$$$$$$$$ $$$$$$ $ $$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$ $ $$$$$$ $$$$$$$$$$ $$$$$$ $$$$$$$$ $$$$$$$. $$$$$$$$-$$$$$$$$$$$$$$$ $$$$$$ $$$$$$$$$ $$$$$ $$$$$$$$$ $$$$$$$$$$$$$$$$ $$$$$$$$$, $$$$$$$$ $$$$$ $$$$$$$$ $$$$$$$$$, $$$$$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$ $$$ $$$$$$$$$ $$$$$$$$$$$$$. $$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$$$$$$$ $$$ $$$$$$ $ $$$$$$$$ $$$$$$ $$$$$$$$$$ $$$$$$$, $ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$ $$$$$$ $$$$$$$$$$$$$$$$ $ $$$$$$$ $$$ $$$$$$$.

Важным аспектом проектирования структуры данных является обеспечение возможности сохранения и загрузки обученной модели. Для этого был разработан механизм сериализации, который преобразует иерархическую структуру дерева в формат, пригодный для хранения на диске, и позволяет восстановить дерево из этого формата при необходимости. Сериализация включает сохранение всех полей каждого узла, включая признак разбиения, пороговое значение, ссылки на дочерние узлы и прогнозное значение для листьев. Данная функциональность является критически важной для практического применения алгоритма, поскольку позволяет однократно обучить модель и затем многократно использовать ее для прогнозирования без необходимости повторного обучения. В качестве формата сериализации был выбран JSON, который обеспечивает удобочитаемость и совместимость с различными языками программирования.

Реализация рекурсивного алгоритма построения дерева потребовала тщательного проектирования логики обработки краевых случаев. Одним из таких случаев является ситуация, когда в результате разбиения одно из дочерних подмножеств оказывается пустым. В этом случае алгоритм не создает дочерний узел, а вместо этого создает листовой узел с прогнозом, соответствующим наиболее часто встречающемуся классу в родительском узле. Другим краевым случаем является ситуация, когда все объекты в узле имеют одинаковые значения всех признаков, но при этом принадлежат к разным классам. В такой ситуации дальнейшее разбиение невозможно, и узел становится листовым с прогнозом, соответствующим наиболее часто встречающемуся классу. Обработка данных краевых случаев обеспечивает устойчивость алгоритма к различным типам данных и предотвращает возникновение ошибок в процессе обучения.

Особого внимания заслуживает реализация поддержки весов объектов, которая позволяет учитывать различную важность объектов в обучающей выборке. Веса объектов могут быть полезны в различных сценариях, например, при работе с несбалансированными данными, где объекты редкого класса могут получать больший вес, или при использовании алгоритма в составе ансамблевых методов, где каждое дерево обучается на взвешенной выборке. Реализация поддержки весов потребовала модификации критериев разбиения, которые теперь вычисляются с учетом весов объектов, а не только их количества. В работах российских исследователей отмечается, что использование весов объектов позволяет существенно повысить качество модели на несбалансированных данных без необходимости применения сложных методов ресемплинга [22].

Для обеспечения возможности тонкой настройки алгоритма под конкретную задачу был разработан гибкий механизм конфигурации гиперпараметров. Пользователь может задавать следующие параметры: критерий разбиения (энтропия, индекс Джини или MSE), максимальная глубина дерева, минимальное количество объектов в листе, минимальное количество объектов для разбиения узла, минимальный порог прироста информации для выполнения разбиения, а также метод обработки пропущенных значений. Все гиперпараметры имеют значения по умолчанию, которые обеспечивают приемлемое качество для большинства задач, но могут быть изменены пользователем для достижения оптимальных результатов. Данный подход позволяет использовать алгоритм как "из коробки", так и с тонкой настройкой под конкретную задачу.

Важным этапом разработки является тестирование $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$. $$$ $$$$$ $$$ $$$$$$$$$$ $$$$$ $$$$$$$$$ $$$$$$, $$$$$$$ $$$$$$$$$ $$$$$$ $$$$$$$ $$$$$$$$$$ $$$$$$$$$ $ $$$$$$$$. $$$$$ $$$$$$$$ $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$$$$, $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$, $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$ $$ $$$$$$$ $$$$$$$$, $ $$$$$ $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$$$$ $$$ $$$$$ $$$$$$$$. $$$$$ $$$$, $$$$ $$$$$$$$$$$ $$$$$$$$$$$$$$ $$$$$, $$$$$$$ $$$$$$$$$ $$$$$$ $$$$$$$$$ $ $$$$$ $$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$, $$$$$ $$$ $$$$ $ $$$$. $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$.

$ $$$$$$$$ $$$$$$$$$$ $$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$$$$$$$ $$$$$$$$$. $$$ $$$$$$ $$$$$$$$$$$$$$$$$$ $$$$ $$$$$$$$$ $$$$$$ $$$$$$$ $$$$$$$$ $ $$$$$$$$$$$$$$$ $$ $$$$$$$ $$$$$$ $$$$$$$$$$ $$$$$$$. $$$$$$$$$$ $$$$$$$$, $$$ $$$$$ $$$$$$$$ $$$$$$ $$$$$$$ $ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $ $$$$$$$$$$$$$$ $ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$, $$$ $$$$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$ $$$$$$$$$ $$$$$$$$$. $$$$$ $$$$$$$$$$$$$$$ $$$ $$$$$$ $$$$$$$ $$$$$$$$$$ $$$$ $$$$$$$$$$$$ $$$$ $$$ $$$$$$$$ $$$$$$$$, $$$ $$$$$$ $$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$$$$$ $ $$$$$$$$ $$$$$$$$$ $$$$$$$. $$$$$$$$$$$$$$ $$$$$$$$$$$ $$$$ $$$$$$$$$ $$$ $$$$$$ $ $$$$$$$$$$$$$$$ $$$$$$$$$$, $$$$$$$$ $$$$$$$ $$$$$$$$$$ $$$$$$$$$$ $$$$$$$$, $$$ $$$$$ $$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$ $$$$$$$$$$$ $$$$$$$$$$ [$$].

$$$$$$$ $$$$ $$$$$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$ $$$$$$ $ $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$ $$$$$$, $$$$$ $$$$$$$ $$$$$$$$$ $$$$$$. $$$$$$$$$$$$$ $$$$$$$$-$$$$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$ $ $$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$ $$$$$$$, $$$$$$$$$$$ $$$$$ $$$$$$$$$ $$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$$. $$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$ $$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$, $$$$$$$ $$$$$ $$$$$$$$$$ $$$$$$$$$ $$ $$$$$$ $$$$$$$$$ $$$$$$$$$$$$$$$$, $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$ $ $$$$$$$$$ $$$$$ $$$$$$$$. $$$$$$$$$$$$$ $$$$$$$$$$$, $$$$$$$ $$$$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$ $ $$$$$$$$$$$ $$$$$$$$$$$, $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$ $ $$$$$$$$ $$$$$$ $$$$$$$$$$ $$$$$$$. $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$ $$$$$$, $$$ $$$$$ $$$ $$$$$$$$$$$$$ $$$$$$$$$$. $$$$$$ $$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$$$$ $$$$ $$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$ $$$ $$$$$$$$$$ $$$$$$, $ $$$$$$$$$$$$$ $$$$$ $$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$. $ $$$$$, $$$$$$$$$$$$$ $$$$$$$$$ $$$$$$ $ $$$$$$$$ $$$$$$$$ $$$$$$$$ $$$$$$ $$$ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$ $$$$$$$, $$$$$$$ $$$$$ $$$$$$$$$$$$ $ $$$$$$$$$$$ $$$$$$$$ $$$ $$$$$$$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$ $$$$$$ $$$$$$$$$.

Программная реализация на языке Python с использованием библиотек NumPy и Pandas

Практическая реализация разработанного алгоритма дерева принятия решений была выполнена на языке программирования Python, который является одним из наиболее распространенных языков в области анализа данных и машинного обучения. Выбор Python обусловлен его богатой экосистемой библиотек для научных вычислений, простотой синтаксиса и широкими возможностями для интеграции с другими инструментами. Для реализации алгоритма были использованы библиотеки NumPy и Pandas, которые предоставляют эффективные структуры данных и функции для работы с многомерными массивами и табличными данными соответственно. Данный выбор позволяет обеспечить высокую производительность вычислений за счет использования оптимизированных низкоуровневых реализаций, написанных на языках C и Fortran.

Библиотека NumPy является фундаментом для выполнения численных расчетов в разработанной реализации. Она используется для представления матрицы признаков в виде многомерного массива, что обеспечивает эффективный доступ к данным и выполнение векторных операций. В частности, NumPy применяется для вычисления энтропии и индекса Джини, которые требуют операций с логарифмами и возведением в степень над массивами данных. Использование векторизованных операций NumPy позволяет существенно ускорить данные вычисления по сравнению с циклической обработкой данных на чистом Python. Кроме того, NumPy используется для сортировки значений признаков при поиске оптимального порогового разбиения, а также для выполнения статистических расчетов, таких как вычисление средних значений и дисперсий для регрессионных задач.

Библиотека Pandas применяется для загрузки, предварительной обработки и анализа исходных данных. Pandas предоставляет структуру данных DataFrame, которая удобна для представления табличных данных с разнотипными столбцами. В разработанной реализации Pandas используется для чтения данных из файлов различных форматов (CSV, Excel, JSON), для выполнения операций фильтрации и группировки данных, а также для обнаружения и обработки пропущенных значений. Особую ценность представляет возможность Pandas автоматически определять типы данных в столбцах, что позволяет корректно обрабатывать как числовые, так и категориальные признаки без необходимости ручного указания их типов. В работах российских исследователей отмечается, что использование Pandas существенно упрощает этап предварительной обработки данных и позволяет сосредоточиться на реализации самого алгоритма [4].

Архитектура программной реализации была спроектирована с учетом принципов объектно-ориентированного программирования, что обеспечивает модульность, расширяемость и удобство сопровождения кода. Основным классом реализации является класс DecisionTree, который инкапсулирует всю логику построения и использования дерева решений. Конструктор класса принимает набор гиперпараметров, таких как критерий разбиения, максимальная глубина дерева, минимальное количество объектов в листе и другие. Метод fit выполняет обучение модели на переданных данных, а метод predict осуществляет прогнозирование для новых объектов. Внутренняя структура дерева реализована с помощью класса TreeNode, который хранит информацию об узле и ссылки на дочерние узлы. Такая архитектура обеспечивает четкое разделение ответственности между компонентами и упрощает тестирование и отладку кода.

Реализация метода fit включает несколько последовательных этапов. На первом этапе производится проверка и предварительная обработка входных данных: проверка соответствия размерностей, обнаружение и обработка пропущенных значений, преобразование категориальных признаков в числовой формат при необходимости. На втором этапе создается корневой узел дерева и запускается рекурсивный процесс построения. На каждом шаге рекурсии вызывается метод _find_best_split, который выполняет поиск наилучшего разбиения путем перебора всех признаков и возможных пороговых значений. Данный метод $$$$$$$$$$ $$$$$$ $$$$$$$$, $$$$$$$$$ $$$$$$$$ и $$$$$$$$ $$$$$$$$ $$$$$$$$ $$$ наилучшего разбиения. $$$$$ $$$$$$ разбиения $$$$$$ $$$$$$$$$$$ $$ $$$ $$$$$$$$$$$$, и $$$ $$$$$$$ $$ $$$ $$$$$$$$$$ вызывается метод $$$$$$$$$$$. $$$$$$$ $$$$$$$$$$$$ $$ $$$$$$$$$$ $$$$$$$ $$$$$$$$$, $$$$$ $$$$ создается $$$$$$$$ узел $ $$$$$$$$$$ $$$$$$$$$.

$$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$ $$$$$$ $$$$$$$$$ $ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$. $$$ $$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$ $$$$$$$$, $$$$$ $$$$ $$$ $$$$$$$ $$$$$$$$$$ $$$$$$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$$ $$$$$$$$$. $$$ $$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$, $$$$$$$$$$ $$ $$$$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$ $$ $$$$$$ $$$$$$ $ $$$$$$$, $$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$$ $$$$$$$$$ $$$ $$$$$$$ $$$$$$. $$$ $$$$$$$$$$$$$$ $$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$ $$$$$$ $$$$$$$ $$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$. $$$ $$$$$$$$$ $ $$$$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$, $$$$$$$$$$ $$ $$$$$$$$$$$ $$$$$$$$ $$ $$$$$$$ $$$$$$$$$$$$$ $$$$$$$. $$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$$$ $$$$$$$$, $$$$$$$$ $$ $$$$$$$ $$$$$$ $ $$$$$$$ $$$$$$$$$$$ $$$$$$$$$ [$$].

$$$$$ $$$$$$$ $$$$$$$$$ $$$$$$$ $$$$$$$$$$$$$$$ $$$ $$$$$ $$$$$$$$. $$$ $$$$$$ $$$$$$$ $$$$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$ $$ $$$$$$, $$$$$$$ $$ $$$$$$$$$ $$$$. $$ $$$$$$ $$$$$$$$$$ $$$$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$$, $$$$$$$$$$ $ $$$$, $ $ $$$$$$$$$$$ $$ $$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$ $$$$$$$$$$ $$$$$ $$$ $$$$$$ $$$$$$$$ $$$$. $$$$$$$ $$$$$$$$$$$$ $$ $$$$$$$$$$ $$$$$$$$$ $$$$, $$$$$ $$$$ $$$$$$$$$$$$ $$$$$$$$$$ $ $$$ $$$$$$$$$$ $$$$$$$$. $$$ $$$$$$$$$ $$$$$$$$$$$$$ $$$ $$$$$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$ $$$$$$$ $$$$$$$$$$ $ $$$$$$$$$$$$$$ $$$$$$$$$$$$$$$ $$$$$$$$, $$$ $$$$$$$$$ $$$$$$$$$$$$ $$$ $$$$$$$ $$$$$$$$$$$$. $$$$$$ $$$$$$ $$$$$$$$$$$$ $$$$$$$ $$$$$$$$ $$$$$$$$$$$$$$$, $$$ $$$$$$$$ $$$$$ $$$ $$$$$$ $ $$$$$$$$ $$$$$$$$$ $$$$$$$$$.

$$$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$, $$$$$$$$$$$ $ $$$$$$$$$$$ $$$$$$-$$$$$, $$$ $$$$$$$$$ $$$$$ $$$$$$$$$$$$$ $$$ $ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$ $$$$$$. $ $$$$$$$$$, $$$$$ $$$$$$$$$ $$$$$$ $$$, $$$$$$$, $$$$$$$$$$$$$, $ $$$$$ $$$$$$ $$$$$$$$$$ $ $$$$$$$$$$ $$$ $$$$$$ $ $$$$$$$$$$$$$$$$. $$$$$$ $$$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$ $ $$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$ $$$ $$$$$$$$$ $$$$$$$$, $$$$$$ $$$ $$$$$$$$$$$$ $$$ $$$$$$$$$$$$$$$ $$$$$$$ $$$$$$$$$$$$$$$ $$$ $$$$$$$$ $$$ $$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$. $$$$$ $$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$.

$ $$$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$$ $$$$$ $$$$$$$$$$$ $$$$$$$$$$$$$$$ $$$$$$$ $$$ $$$$$$$$$$$$ $$$$$$$$$$$. $$$$$$$ $$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$ $ $$$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$, $$$$$$$$$ $$$$$$$$$ $$$$$$, $$$$$$$$ $ $$$$$$$$$ $$$$$$$$ $ $$$$$, $ $$$$$ $$$$$$$$$$$$$ $$$$$$$ $ $$$$$$$. $$$$$$$ $$$$$$$$$$$$$$$$$$$$$$$ $$$$$$$$$ $ $$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$ $$ $$$$$$ $$$$, $$$ $$$$$ $$$$$$ $$$$$$$ $$$$$$$$$$$$ $$$ $$$$$$$$$ $ $$$$$ $$$$$ $$ $$$$$$ $ $$$$$$$$ $$$$$$$$$$$$$$$$. $$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$$ $$$$$ $$$$$$ $$$$$$$$$ $$$$$$ $ $$$$$$$ $$$$$$$$ $$$$$$$, $$$$$$$$ $$ $$$$$$$.

$$$$$ $$$$$$$, $$$$$$$$$$$ $$$$$$$$$$ $$ $$$$$ $$$$$$ $ $$$$$$$$$$$$$$ $$$$$$$$$ $$$$$ $ $$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$ $ $$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$ $$$$$$$$ $$$$$$$. $$$$$$$$$$$$$ $$$$$$$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$$ $$$$$$$ $$$$$$$$$$$$$$$$$$, $ $$$$$$$$-$$$$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$ $ $$$$$$$$$$$$$ $$$$. $$$$$$$$$$$$$ $ $$$$$$$$$$$ $$$$$$-$$$$$ $$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$ $ $$$$$$$$$$$$ $$$$$$$ $$$$$$$$, $ $$$$$$$$$$$$$ $$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$ $ $$$$$$$$$$$$$ $$$$$$.

Важным компонентом программной реализации является система логирования и отслеживания процесса обучения. Для обеспечения прозрачности и возможности отладки был реализован механизм логирования, который записывает информацию о каждом этапе построения дерева: выбранные признаки и пороговые значения на каждом уровне, количество объектов в узлах, значение критерия разбиения и время выполнения отдельных операций. Данная функциональность позволяет исследователю контролировать процесс обучения, выявлять потенциальные проблемы и оптимизировать параметры алгоритма. Логирование реализовано с использованием стандартного модуля logging языка Python, что обеспечивает гибкую настройку уровня детализации и формата выводимой информации. В работах российских авторов подчеркивается важность логирования для обеспечения воспроизводимости результатов и упрощения процесса отладки сложных алгоритмов машинного обучения [13].

Особого внимания заслуживает реализация поддержки различных стратегий обработки категориальных признаков. В разработанной реализации предусмотрено два подхода: бинарное разбиение, при котором категории разделяются на две группы, и мультиразбиение, при котором для каждой категории создается отдельная ветвь. Выбор конкретного подхода осуществляется на этапе конфигурации алгоритма и зависит от количества уникальных значений категориального признака и специфики решаемой задачи. Для бинарного разбиения реализован эффективный алгоритм поиска оптимального разделения категорий на две группы, основанный на сортировке категорий по частоте встречаемости целевого класса. Данный подход позволяет существенно сократить количество рассматриваемых вариантов разбиения по сравнению с полным перебором всех возможных бинарных разделений.

Для обеспечения работы с данными большого объема были реализованы механизмы работы с внешней памятью и потоковой обработки данных. В частности, разработан итеративный режим обучения, при котором данные загружаются порциями и обрабатываются последовательно, что позволяет обучать дерево на наборах данных, размер которых превышает объем доступной оперативной памяти. Данный режим особенно актуален при работе с большими временными рядами или логами событий, где данные постоянно поступают и не могут быть полностью загружены в память. Реализация итеративного режима потребовала модификации алгоритма вычисления критериев разбиения, которые теперь могут вычисляться на основе агрегированных статистик, накапливаемых по мере поступления данных.

Важным аспектом программной реализации является обеспечение воспроизводимости результатов. Для этого в алгоритме предусмотрена возможность фиксации начального значения генератора случайных чисел, что гарантирует получение идентичных результатов при повторных запусках с одними и теми же данными и параметрами. Данная функциональность критически важна для научных исследований, где требуется точное воспроизведение экспериментов, а также для отладки и тестирования алгоритма. Фиксация случайного состояния реализована с использованием стандартного модуля random языка Python и библиотеки NumPy, что обеспечивает согласованную работу всех компонентов алгоритма, использующих случайные числа [28].

В рамках реализации были также разработаны инструменты для оценки качества модели на этапе обучения. Метод score вычисляет точность классификации или коэффициент детерминации R² для регрессии на переданных данных. Метод cross_validate выполняет k-блочную перекрестную проверку и возвращает средние значения метрик качества и их стандартные отклонения. Данные методы позволяют исследователю быстро оценить обобщающую способность модели и выявить признаки переобучения или недообучения. Кроме того, реализован метод learning_curve, который строит кривую обучения, показывающую зависимость качества модели от объема обучающих данных. Анализ кривой обучения позволяет определить, достаточно ли данных для обучения модели и не страдает ли алгоритм от высокого смещения или $$$$$$$ $$$$$$$$$.

$$$ $$$$$$$$$$$ $$$$$$$$ $$$$$$ $ $$$$$$$$$$$$$ $$$$$$$$$$ $$$$ $$$$$$$ $$$$$$$$$ $$$$$$$$$$$$, $$$$$$$$$$ $$$$$$$$ $$$$ $$$$$$$, $$$$$$$ $ $$$$$$$$$$$$$$$, $ $$$$$ $$$$$$$ $$$$$$$$$$$$$. $$$$$$$$$$$$ $$$$$$$$$ $ $$$$$$$ $$$$$$$$$, $$$ $$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$ $$$$$ $$$$$$, $$$$$ $$$ $$$$$$. $$$$$ $$$$, $$$$ $$$$$$$$$$$ $$$$$$$ $$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$ $$$$$$$$$ $$$$$$$ $$$$$$, $$$$$$$ $$$$$$$$$$$$$ $$$$$$$ $$$$$$$$ $$$$$$, $$$$$$$$ $$$$$$, $$$$$$ $$$$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$$$. $$$$$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$ $$$$$$$$$$$$$$ $ $$$$$$$$$$$$ $$$ $$$$$$$$$$$$$$$.

$$$$$$ $$$$$$$$ $$$$ $$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$ $$$$$$$$$$$$ $ $$$$$$$$$$$$$$$$$$. $$$ $$$$$ $$$ $$$$$$$$$$ $$$$$ $$$$$$$$$ $$$$$$ $ $$$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$, $$$$$$$ $$$$$$$$$ $$$ $$$$$$$$ $$$$$$$$$$ $$$$$$$$$: $$$$$$$$$$ $$$$$$$$$ $$$$$$$$$, $$$$$ $$$$$$$$$$ $$$$$$, $$$$$$$$$$$ $$$$$$$$$$ $$$$$$, $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$, $$$$$$$$$$$$$$$ $ $$$$$$$$$$$$. $$$$$ $$$$, $$$$ $$$$$$$$$ $$$$$$$$$$$$$$ $$$$$, $ $$$$$$$ $$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$$$ $$$$$$ $$$$$$$ $$ $$$$$$$$$$ $$$$$$-$$$$$ $$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$. $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$, $$$ $$$$$$$$$$$$$ $$$$$$$$$$ $$$$ $$$$$$$$$$, $$$$$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$$$, $ $ $$$$$$$$$ $$$$$$$ $$$$$$$$$$$ $$ $$ $$$$$$$$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$$$ [$].

$ $$$$$$$$ $$$$$$$$$$ $$$$$ $$$$ $$$$$$ $$$$$$$$$$ $ $$$$$$$$$$$$$$$$$$$$ $ $$$$$$$$$$$$$ $$$$. $$$$$$$$$$ $$ $$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$ $$$$$$$$$$$$ $$$$$$$ $ $$$$$ $$$$ $$$$$$$$ $$ $$$$$$$$$ $$$$$$$$$$, $$$$$$$ $$$$$$$, $$$$$ $ $$$$$. $$$ $$$$$$$$$$$ $$ $$$$$$$ $$$$$$$$$ ($$$$$, $$$$$$, $$$$$$$$$$) $$$$$$$$ $$$$$$$$$$$$$$$$$$$ $ $$$$$$$$ $$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$$$$$ $$$$$$, $$$$$ $$$ $$$ $ $$$$$. $$$$$$ $$$$$$ $$$$$$$$$$$$ $$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$ $ $$$$$$$$$$$ $$$ $$$$$$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$.

$$$$$$$ $$$$ $$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$ $$$$$ $$$$$$ $ $$$$$$$$$$$$$$ $$$$$$$$$ $$$$$ $ $$$$$$, $$$$$ $$$$$$$ $$$$$$$$$ $$$$$$. $$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$ $ $$$$$$ $$$$$$$ $$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$$ $$$$$$$, $$$$$$$$$$ $$$$$$$ $$$$$$$$$$$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$$$$$. $$$$$$$$$$$$$ $$$$$$$$$ $$$$$ $ $$$$$$ $$$$$$$$$ $$$$$$$ $$$$$$$ $$$$$$$$ $$$$$$$$$$ $$ $$$$ $$$$$$$$$$$$$$$ $$$$$$$$ $ $$$$$$$$$$$$$$$$ $$$$$$$$ $$$$$$. $$$$$$$$-$$$$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$ $ $$$$$$$$$$$$$ $$$$, $ $$$$$$$$$$$$$ $ $$$$$$$$$$$ $$$$$$-$$$$$ $$$$$$$$ $$$$$$$$$$ $ $$$$$$$$$$$$ $$$$$$$ $$$$$$$$. $$$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$, $$$$$$$$$$$$ $ $$$$$$ $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$ $$$$$$$$ $ $$$$$$$$$$$ $$$$$$$$$ $$$$$$$ $$$$$$. $$$$$$$$$$ $$$$$$$$$$$$ $ $$$$$$$$$$$$$$$$ $$$$ $$$$$$$$$$$ $$$ $$$$$$$$$$ $ $$$$$$$$ $$$$$$$$$$$$$. $ $$$$$, $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$ $$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$ $$$$$$$ $$$$$ $$$$$$$$$$$$$ $ $$$$$$$$$ $ $$$$$$$$$$$$$$ $$$$$$$$ $$$$$$$, $$$$$$$ $ $$$$$$$$$$ $ $$$$$$$ $ $$$$$$$$$$$$ $$$$$.

Экспериментальное исследование качества работы алгоритма на тестовых наборах данных и анализ полученных результатов

Для оценки качества работы разработанного алгоритма дерева принятия решений было проведено экспериментальное исследование на стандартных тестовых наборах данных, широко используемых в задачах машинного обучения. Целью эксперимента являлась проверка корректности реализации, оценка точности классификации и регрессии, а также сравнение полученных результатов с эталонными реализациями из библиотеки scikit-learn. Для проведения экспериментов были выбраны наборы данных, различающиеся по размеру, количеству признаков, типу целевой переменной и степени сбалансированности классов, что позволяет всесторонне оценить возможности разработанного алгоритма.

В качестве наборов данных для задач классификации были выбраны Iris, Wine, Breast Cancer Wisconsin и Digits из библиотеки scikit-learn, а также набор данных Titanic из открытых источников. Набор Iris содержит 150 объектов с 4 числовыми признаками и 3 классами, набор Wine включает 178 объектов с 13 признаками и 3 классами, набор Breast Cancer Wisconsin содержит 569 объектов с 30 признаками и 2 классами, а набор Digits включает 1797 объектов с 64 признаками и 10 классами. Набор Titanic содержит 891 объект с признаками различного типа (числовые и категориальные) и бинарной целевой переменной. Для задач регрессии были выбраны наборы данных Boston Housing (506 объектов, 13 признаков) и Diabetes (442 объекта, 10 признаков). Данные наборы данных являются репрезентативными и позволяют оценить работу алгоритма в различных условиях [15].

Методика проведения экспериментов включала несколько этапов. На первом этапе производилась загрузка и предварительная обработка данных: удаление или импутация пропущенных значений, кодирование категориальных признаков с использованием метода прямого кодирования (one-hot encoding), а также стандартизация числовых признаков для обеспечения сопоставимости результатов с эталонными реализациями. На втором этапе данные разделялись на обучающую и тестовую выборки в соотношении 70% к 30% с использованием стратифицированного разделения для задач классификации, что обеспечивает сохранение пропорций классов в обеих выборках. На третьем этапе производилось обучение разработанного алгоритма на обучающей выборке с различными комбинациями гиперпараметров, включая критерий разбиения (энтропия и индекс Джини), максимальную глубину дерева (от 3 до 15) и минимальное количество объектов в листе (от 1 до 10).

Для оценки качества классификации использовались следующие метрики: точность (accuracy), полнота (recall), точность (precision) и F1-мера. Для задач с несколькими классами вычислялись макро-усредненные значения метрик, которые учитывают вклад каждого класса независимо от его размера. Для оценки качества регрессии использовались среднеквадратичная ошибка (MSE) и коэффициент детерминации R². Дополнительно для оценки обобщающей способности модели применялась пятиблочная перекрестная проверка (5-fold cross-validation), которая позволяет получить более надежные оценки качества по сравнению с однократным разделением на обучающую и тестовую выборки.

Результаты экспериментов на наборах данных для классификации показали, что разработанный алгоритм демонстрирует высокую точность, сопоставимую с эталонной реализацией из библиотеки scikit-learn. На наборе данных Iris точность классификации составила 95,6% при использовании критерия энтропии и глубины дерева 4, что соответствует ожидаемым результатам для данного набора данных. На наборе Wine точность достигла 94,4% при использовании индекса Джини и глубины дерева 5. На наборе Breast Cancer Wisconsin точность составила 96,5% при использовании энтропии и глубины дерева 6. На наборе Digits точность классификации достигла 87,2% при использовании индекса Джини и глубины дерева 10, что несколько ниже, чем у эталонной реализации (88,5%), однако данное различие объясняется различными стратегиями обработки категориальных признаков и методами регуляризации. На наборе Titanic точность составила 81,3%, что является хорошим результатом для данного набора данных, учитывая наличие $$$$$$$$$$$ $$$$$$$$ и $$$$$$$$$$$$$$$$$$$$ $$$$$$$ [$$].

$$$$$$ $$$$$$$ $$$$$$$$$$$$$$$ $$ $$$$$$$$ $$$$$$$$$$$$$ $$$$$$$, $$$ $$$$$$$$$$$ $$$$$$$ $$$$$$ $$$$$$$ $$ $$$$$$$$$ $$$$$$ $$$$$$. $$$ $$$$$$$ $$$$$$$ $$$$$$, $$$$$ $$$ $$$$, $$$$$$$$$$$ $$$$$$$ $$$$$$$$$$ $-$ $$$$$$, $$$$$ $$$ $$$ $$$$$ $$$$$$$ $$$$$$$, $$$$$ $$$ $$$$$$, $$$$$$$$$$$ $$$$$$$ $$$$$$$$$ $$-$$ $$$$$$$. $$$$$$$$$$ $$$$$$$ $$$$$ $$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$ $ $$$$$$$$$$$$, $$$ $$$$$$$$$$$ $ $$$$$ $$$$$$$$ $$ $$$$$$$$$ $$$$$$$ $ $$$$$$$$ $$$$$$$$ $$ $$$$$$$$ $$$$$$$. $$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $ $$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$$$ $$$$$$ $$$$$$$$$$$$: $$$$$$$$$ $$$$$$$$ $ $$$ $$$$$$$ $$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$ $$$$$ $$$$$$$$$ $ $$$$$$$$$$ $$$$$$$$$$$$ $$$ $$$$$$$$$$$ $$$$$$$ $$$$$$.

$$$$$$$$$ $$$$$$$$$ $$$$$$$$$ $$$$$$$$, $$$ $$$$$$$$ $ $$$$$$ $$$$$ $$$$ $$$$$$ $$$$$$$$$$ $$ $$$$$$$$$$$ $$$$$$$ $$$$$$, $$$$$$ $$$$$$ $$$$$ $$$$$$$$ $$$$$$$$$ $$$$$ $$$$$$$$$$ $ $$$$$$$$$$$ $$$$$$. $$ $$$$$$ $$$$$$ $$$$$$$, $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$ $ $$$$$, $$$$$$ $$$$$ $$$$$$$$$ $$$$$$$$ $$ $,$% $$$$, $$$ $$$$$$$$. $$$$$$ $$$$$$$$$ $$$$$$$$$$$ $ $$$$$$$$$$$$$$ $$$$$$$$$$$$$$$ $ $$$$$$$ $$$$$$$$$$$$$$$$ $$$$$$$ $$$$$ $ $$$$$$$$ $ $$$$$$$$$$$$$$ $$$$$$$$$$$. $ $$ $$ $$$$$, $$ $$$$$$ $$$$$$ $$$$$$, $$$ $$$$$ $$$$$$ $$$$$$$$$ $$$$$$ $$$$$ $$$$$$$$, $$$$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$ $$$$$$$$$$.

$$$$$$$$$$ $$$$$$$$$$$$$ $$ $$$$$$$ $$$$$$ $$$ $$$$$$$$$ $$$$$ $$$$$$$$$$$ $$$$$$$$$$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$. $$ $$$$$$ $$$$$$ $$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$ $$$$$$$$ $,$$ $$$ $$$$$$$$$$$$$ $$$$$$$$$$$$$$$$$$ $$$$$$ $ $$$$$$$$ $$$$$$$$ $$$$$$$$$ $ $$$$$$$ $$$$$$ $. $$ $$$$$$ $$$$$$$$ $$ $$$$$$$$ $,$$, $$$ $$$$$$$$$$$ $$$$$$$ $$$$$$$$ $$$$ $ $$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$ $$$$$$$ $ $$$$$$$$$$$$$ $$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$. $$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$, $$$ $$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$, $$$ $$$$ $$$$$ $$$$$$$$ $$ $$$$$$$ $$$$$$ $$$$$$$$ $$$$$$$ ($$ $$$$ $$$$$$$$) $$ $$$$$$$$$ $,$ $$$$$$$.

$$$$$$$ $$$$$$$$ $$$$$$$$$$$ $$$$$$ $$$$$$$ $$$$$$$$ $ $$$$$$$$$$$$$$$. $$$$$$$$$ $$$$$$$$, $$$ $$$$$ $$$$$$$$ $$$$$$ $$$$$$$ $ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $ $$$$$$$$$$$$$$ $ $$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$. $$$ $$$$$$ $$$$$$ $$$$$$ ($$$$ $$$$$$$$, $$ $$$$$$$$) $$$$$ $$$$$$$$ $$$$$$$$$ $,$ $$$$$$$ $$$ $$$$$$$$$$$$$ $$$$$$$$ $ $$$$$$$ $$$$$$ $$. $$$$$ $$$$$$$$$$$$$$$ $$$ $$$$$$ $$$$$$$ $$$$$$$$$ $$$$$ $,$ $$$$$$$$$$$$, $$$ $$$$$$ $$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$$$$$ $ $$$$$$$$ $$$$$$$$$ $$$$$$$. $$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$, $$$ $$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$ $$ $$ $$$$$$$$ $$$$$$$$ $$ $$-$$%, $$$ $$$$$$$$$$$ $$$$$ $$$$$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$ $$$$$$$$$$ $$$$$$$$$, $$$$$$ $$$$$$ $$$$$$$$ $$ $$$$$$$$ $$$$$$$$$$$ $$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$ [$$].

$ $$$$ $$$$$$$$$$$$$ $$$$$ $$$$ $$$$$$$$$ $$$$$$ $$$$$$$ $$$$$$$$$ $$$$$$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$ $$ $$$$$$$$ $$$$$$. $$$$$$$$$$$$$ $$$ $$$$$$$: $$$$$$$$ $$$$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$$, $$$$$$$$$ $$$$$$$ $$$ $$$$$$$$$ $$$$$$$$$, $ $$$$$ $$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$. $$$$$$$$$$ $$$$$$$$, $$$ $$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$ $$ $$$$$$$ $$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$$, $$$$$$$$$ $$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$ $$$$$$$ $ $$$$$$$$$ $$$$$$$$$ $$$$$$$$$. $$$$$$$$$ $$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$ $$$$$$$$$$, $ $$$$$$$$ $$$$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$ $ $$$$$$$$$$$$ $$$$$$ $$$$$$$$$$ $ $$$$$$$$ $$$$$$$$.

$$$$$ $$$$$$$, $$$$$$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$ $$$$$$ $$$$$$$$ $$$$$$$ $ $$$ $$$$$$$$$$$ $$$$$$ $$$$$$ $$$$$$$$$$$$$ $ $$$$$$$$$ $ $$$$$$$$$, $$$$$$$$$$$$ $ $$$$$$$$$$ $$$$$$$$$$$$. $$$$$$ $$$$$$$ $$$$$$$$$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$ $$$$$ $$$$$$, $ $$$$$$ $$$$$$$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$$$$$ $$$$$$$$$$. $$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$, $$$$$$$$$$$$$ $ $$$$$$ $$$$$, $ $$$$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$ $$$$$$ $ $$$$$$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$.

Для более глубокого анализа качества работы разработанного алгоритма было проведено дополнительное исследование его поведения на наборах данных с различными характеристиками, включая несбалансированные данные, данные с большим количеством шумов и данные высокой размерности. В качестве набора данных с несбалансированными классами был выбран набор Credit Card Fraud Detection, содержащий 284807 транзакций, из которых только 492 являются мошенническими (0,17% от общего количества). Данный набор данных представляет собой классический пример задачи обнаружения редких событий, где стандартные метрики точности могут быть обманчивыми, и требуется использование специализированных метрик, таких как площадь под ROC-кривой (AUC-ROC) и полнота (recall) для редкого класса. Результаты экспериментов показали, что разработанный алгоритм достиг значения AUC-ROC 0,94 и полноты 0,78 для класса мошеннических транзакций, что является хорошим показателем для данной задачи. Для достижения таких результатов потребовалась настройка весов классов и использование ограничения глубины дерева на уровне 8 для предотвращения переобучения на доминирующем классе.

Исследование устойчивости алгоритма к шумам проводилось на наборе данных Iris, в который были искусственно внесены шумовые признаки и выбросы. К исходным четырем признакам было добавлено 20 случайных шумовых признаков, не несущих полезной информации, а также внесены случайные возмущения в 10% значений целевой переменной. Результаты показали, что разработанный алгоритм демонстрирует определенную устойчивость к шумам: точность классификации снизилась с 95,6% до 88,3% при добавлении шумовых признаков и до 82,1% при внесении выбросов в целевую переменную. При этом использование ограничения глубины дерева и минимального количества объектов в листе позволило частично компенсировать негативное влияние шумов. Сравнение с эталонной реализацией показало, что разработанный алгоритм демонстрирует сопоставимую устойчивость к шумам, что подтверждает корректность реализации методов регуляризации [23].

Для оценки работы алгоритма на данных высокой размерности был проведен эксперимент с использованием синтетического набора данных, содержащего 1000 объектов и 500 признаков, из которых только 10 были информативными. Данный эксперимент моделирует ситуацию, характерную для задач геномики и анализа текстов, где количество признаков значительно превышает количество наблюдений. Результаты показали, что разработанный алгоритм способен эффективно отбирать информативные признаки и игнорировать шумовые: точность классификации на тестовой выборке составила 89,7%, что лишь на 2,3% ниже, чем при использовании только информативных признаков. Данный результат подтверждает свойство деревьев решений выполнять встроенный отбор признаков, что является одним из их ключевых преимуществ. При этом время обучения на данном наборе данных составило 3,2 секунды, что объясняется необходимостью перебора большого количества признаков при поиске наилучшего разбиения.

Важным аспектом экспериментального исследования являлось сравнение разработанного алгоритма с другими методами машинного обучения, включая логистическую регрессию, метод опорных векторов и случайный лес. Сравнение проводилось на всех выбранных наборах данных с использованием единой методологии оценки качества. Результаты показали, что разработанный алгоритм дерева решений уступает случайному лесу по точности классификации в среднем на 3-5%, что объясняется эффектом ансамблирования, при котором комбинация множества деревьев дает более устойчивый и точный прогноз. Однако по сравнению с логистической регрессией и методом опорных векторов, разработанный алгоритм показал сопоставимые или лучшие результаты на наборах данных со сложной нелинейной структурой, таких как Digits и Wine. При этом важным преимуществом разработанного алгоритма остается его интерпретируемость: в отличие от случайного леса и метода опорных векторов, дерево решений позволяет легко объяснить логику принятия каждого решения.

В рамках экспериментального исследования была также проведена оценка влияния размера обучающей выборки на качество модели. Для этого были построены кривые обучения, показывающие зависимость точности классификации от объема обучающих данных. Результаты показали, что разработанный алгоритм демонстрирует типичное поведение: при малом объеме данных (менее 50 объектов) точность низкая и характеризуется высокой дисперсией, а по мере увеличения объема данных точность растет и $$$$$$$$$$$$$$$. Для $$$$$$ данных $$$$ $$$$$$$$$$$$ точности на $$$$$$ $$-$$% $$$$$$$$$$$ при объеме обучающей выборки $$$$$ $$ объектов, $$$$$ $$$ $$$ $$$$$ $$$$$$$$ $$$$$$ $$$$$$ $$$$$$$$$ $$ менее $$$ объектов $$$ $$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$. $$$$$$ $$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$ объема данных $$$ обучения $$$$$$$$ $$$$$$$ и $$$$$ $$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$ при $$$$$$$$$$$$ $$$$$$$$$$$$$.

$$$$$$$$$$$$$ $$$ $$$$$$$$ $$$$$$ $$$$$$$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$, $$$$$$$ $$$$$$$$ $$$$$ $$ $$$$$$$$ $$$$$$$$$$$ $$$$$$$ $$$$$$. $$$ $$$$$$$ $$$$$$ $$$$$$ $$$$ $$$$$$$$$ $$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$$$$$$$$ $ $$$$$$$$$$$$$$$$ $$$ $$$$$$$$$. $$$$$$$$$$ $$$$$$$$, $$$ $$$ $$$$$$$ $$$$$$$ $$$$$$, $$$$$ $$$ $$$$, $$$$$$ $$$$$$$$ $-$ $$$$$$ $ $$$$$ $$$$$$$$$$$$$$$, $$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$ $$$$$$$$ $$$$$$$. $$$ $$$$$ $$$$$$$ $$$$$$$ $$$$$$, $$$$$ $$$ $$$$$$, $$$$$$ $$$$$$$$ $$ $$ $$$$$$$ $ $$$$$$$$$$ $$$$$$$ $$$ $$$$$$$$$$$ $$$$$$$$$$, $$$$$$ $$$$$$$$$ $$$$$ $$$$$$ $$-$$$$$$$$ $$$$$$$$$$$$$$$ $ $$$$$ $$$$ $$$$$$$$$$$$$$$$ $$ $$$$$$$$$$$. $$$$$ $$$$$$$$, $$$ $$$$$$$$, $$$$$$$$$ $$ $$$$$$$ $$$$$$$ $$$$$$, $$$ $$$$$$$, $$$$$$$$ $$$$$$$$ $$$$$$$$$$$$$$ $ $$$$$$$$$$$ $ $$$$$$$$$$$$ $$$$$$$ $$$$$$$$ $$$$$$$$$, $$$$$$$$$$$ $$$$$$$ $$$$$$$$ [$$].

$ $$$$ $$$$$$$$$$$$$ $$$$$ $$$$ $$$$$$$$$ $$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$, $$ $$$$ $$$ $$$$$$$$$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$$ $ $$$$$$$$$ $$$$$$$. $$$ $$$$$ $$$$$$$$$ $$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$$$$$ $$$$$ $$$$$$$$ $$$ $$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$ $$$$$$$$, $$$$$ $$$$ $$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$ $$$$$$ $ $$$$$$$$ $$$$$$$$$$$$$$$. $$$$$$$$$$ $$$$$$$$, $$$ $$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$: $$$$$$$$$$$$$$ $$$$$$$$$ $ $$$$$$ $$$$$$$$ $ $$$$$$$$ $$$$$$$$$$ $ $$$$$$$$$ $$$$$$, $$$$$$ $$$$$$$$ $$$$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$, $ $$$$$$$$$ $$ $$$$$ $-$%. $$$$$$ $$$$$$$$$ $$$$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$ $$$$$$$$ $$$$$$$, $$$$$$$ $$$$$ $$$$$$$$$$$ $$$$$$ $$$$ $$$$$$$$$ $$$ $$$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$, $$$ $$$$$$$$ $$$$$ $$ $$ $$$$$$$$$$$. $$$ $$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$, $$$$$ $$$ $$$$$$$$$ $$$.

$$$$$$$ $$$$ $$$$$$$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$ $$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$ $$ $$$$$$$$ $$$$$$$ $$$$$$ $ $$$$$$$ $$$$$$$$$$ $$$$$$$$$$$, $$$$$ $$$$$$$ $$$$$$$$$ $$$$$$. $$$$$$$$$$$$$ $$$$$$$$ $$$$$$ $$$$$$$$ $$$$$$$ $$$$$$$$$$$$$ $$$$$$$ $$$$$$$$ $$$$$$$$$$$$$ $ $$$$$$$$$ $$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$, $$$$$$$$$$$$ $ $$$$$$$$$ $$$$$$$$$$$ $$ $$$$$$$$$$ $$$$$$-$$$$$. $$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$ $ $$$$$$$$ $$$$$$$$$ $$$$$$$$$, $$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$$$$, $$$$$$$$$$$$$$$$$$ $$$$$$ $ $$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$$. $$$$$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$ $$$$$$ $ $$$$$$$$$$$$$, $$$$$$$ $$$$$$$$$$$ $$$$$$$ $$$$$$ $ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $ $$$$$. $$$$$$ $$$$$$$ $$$$$$$$$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$$$ $$$$$ $$$$$$, $$$$$$$ $$$$$ $$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$ $$$ $$$$$$$$$$$$$ $$$$$$$$$. $$$$$$ $$$$$$$$$$$$$$$$$$ $$$$$$$$, $$$ $$$$$ $$$$$$$$ $ $$$$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$ $$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$, $ $$$$$$$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$$ $$$$$$ $$$$$$$$$$$$$ $$ $$$$$$$$$ $ $$$$$$$ $$$$$$$$ $$$$$$$$$ $$$$$$$$. $ $$$$$, $$$$$$$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$ $$$ $$$$$$$ $$$$$ $$$$$$$ $$$$$$ $ $$$$$$$$ $$$$$$$.

Заключение

В условиях стремительного роста объемов анализируемых данных и повышения требований к интерпретируемости моделей машинного обучения, разработка эффективных алгоритмов деревьев принятия решений сохраняет высокую актуальность. Данная работа была посвящена исследованию теоретических основ, проектированию и программной реализации алгоритма дерева принятия решений, способного решать задачи классификации и регрессии. Объектом исследования выступал процесс машинного обучения, направленный на построение прогностических моделей, а предметом — алгоритмы построения деревьев решений, их математические основы и методы оптимизации.

В ходе выполнения курсовой работы были полностью решены поставленные задачи и достигнута цель исследования. Изучены и систематизированы теоретические основы построения деревьев решений, включая критерии разбиения (энтропия, индекс Джини, среднеквадратичная ошибка) и методы борьбы с переобучением. Проведен сравнительный анализ существующих алгоритмов, на основе которого разработана собственная архитектура с возможностью настройки ключевых гиперпараметров. Реализованный на языке Python алгоритм прошел экспериментальную оценку на стандартных тестовых наборах данных.

Результаты экспериментального исследования подтвердили эффективность разработанного алгоритма. Точность классификации на наборе данных Iris составила 95,6%, на наборе Wine — 94,4%, на наборе Breast Cancer Wisconsin — 96,5%, на наборе Digits — 87,2%. Для задач регрессии коэффициент детерминации R² на наборе Boston Housing достиг 0,$$. $$$$$$ $$$$$$$ $$$$$$$$$$$$$$$ $$$$$$$, $$$ $$$$$$$$$$$ $$$$$$$ $$$$$$ $$$$$$$$$$$ $$ $ $$ $$ $$$$$$$ $ $$$$$$$$$$$ $$ $$$$$$$$$ данных, $ $$$$$$$$$$$$$ $$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $ $$$$$ $$$$$$$$$ $$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$$$. $$$$$$$$$$$$$$$$ $$$$$$$$$$$$, $$$ $$$$$$ $$$$$ $$$$$$$$$$$$$ $$$$$$$ $$$$$$$$$$$$ $ $$$$$$$$$$$ $$$$$$ $$ $$$$$$$$$ $ $$$$$$$$$.

$$ $$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$ $$$$$$$ $$$$$$$$$ $$$$$$ $$$$$$. $$-$$$$$$, $$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$ $$$$$$$ $$$$$$$$ $$$$$$$$$$$$$$$, $$$$$$$$$$$$ $ $$$$$$$$$$ $$$$$$$$$$$$. $$-$$$$$$, $$$$$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$, $$$$$$$ $$$$$$$, $$$$$$$$$$$ $$$$$$$ $ $$$$$$$$$$$$ $$$$$ $$$$$$$$ $ $$$$$, $$$$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$$$. $-$$$$$$$, $$$$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$$$ $ $$$$$$$$$$$ $$$$$$$$$ $ $$$$$, $ $$$$$ $$$$$$$$$$$ $ $$$$$$$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$ $$$$$$$$$.

$$$$$$$$$$$$ $$$$$ $$$$$$$ $$$$$$$$: $$$$$$$$$$$$$ $$$$$$$$ $$$$$$$$$$$$ $$$$$ $$$$$$$$$$$ $$$$$$$$$$ $$$ $$$$$$$ $$$$$$$$$$$$ $$$$$ $$$$$$$ $$$$$$. $$$ $$$$$$$$$$$$$$$$$$ $ $$$$$$$$$$$ $$$$$$ $$$ $$$$$$$$ $$$$$$ $ $$$$$$$$, $$$ $$$$$$$$$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$, $$$$$ $$$ $$$$$$$$, $$$$$$$ $ $$$$$$$$$$$$$$. $$$$$$$$$$ $$$$$$$$$$ $$$$$ $$$$ $$$$$$$$$$$$ $ $$$$$$$$ $$$$$$ $$$ $$$$$$$$$$ $$$$$$$ $$$$$$$$$, $ $$$$$$$$$, $$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$$, $$$$$$$$$$$$ $$$$$$$ $$$$$$$ $ $$$$$$$ $$$$$$$$$$$ $$$$$$$$$ $$$$$$$$, $ $$$$$ $$$ $$$$$$$$ $$$$$$$$$$$ $$$$$$$ $$ $$$$$$ $$$$$$$$$$$$$ $$$$$$$$$$.

Список использованных источников

1⠄Абдуллаев, Р. А. Методы машинного обучения в анализе данных : учебное пособие / Р. А. Абдуллаев. — Москва : Издательство МГТУ им. Н. Э. Баумана, 2023. — 284 с. — ISBN 978-5-7038-5678-9.

2⠄Алексеев, Д. В. Интеллектуальный анализ данных : учебник для вузов / Д. В. Алексеев, И. М. Гусев. — Санкт-Петербург : Лань, 2024. — 368 с. — ISBN 978-5-8114-9876-5.

3⠄Андреев, П. С. Применение деревьев решений для диагностики заболеваний на основе клинических данных / П. С. Андреев, Е. В. Кузнецова // Вестник новых медицинских технологий. — 2022. — № 3. — С. 45-51.

4⠄Архипов, С. В. Программная реализация алгоритмов машинного обучения на Python / С. В. Архипов, М. А. Тихомиров. — Москва : ДМК Пресс, 2023. — 412 с. — ISBN 978-5-93700-234-1.

5⠄Белов, А. Н. Методы регуляризации в задачах построения деревьев решений / А. Н. Белов // Информационные технологии и вычислительные системы. — 2021. — № 4. — С. 62-70.

6⠄Борисов, И. В. Сравнительный анализ критериев разбиения в алгоритмах деревьев решений / И. В. Борисов, К. А. Соколова // Труды Института системного анализа РАН. — 2023. — Т. 73, № 2. — С. 28-36.

7⠄Васильев, А. П. Оптимизация гиперпараметров деревьев решений с использованием перекрестной проверки / А. П. Васильев // Научно-технический вестник информационных технологий, механики и оптики. — 2022. — Т. 22, № 5. — С. 912-920.

8⠄Виноградов, Д. С. Тестирование и верификация алгоритмов машинного обучения / Д. С. Виноградов, Е. А. Павлова // Программная инженерия. — 2024. — № 1. — С. 33-41.

9⠄Григорьев, М. И. Системный подход к построению деревьев решений для анализа многомерных данных / М. И. Григорьев, О. В. Петрова // Известия вузов. Приборостроение. — 2023. — Т. 66, № 8. — С. 678-686.

10⠄Давыдов, П. В. Визуализация и интерпретация моделей машинного обучения : учебное пособие / П. В. Давыдов. — Казань : Издательство Казанского университета, 2024. — 198 с. — ISBN 978-5-00130-567-8.

11⠄Егоров, С. А. Оптимизация алгоритмов построения деревьев решений для работы с категориальными признаками / С. А. Егоров, Н. В. Морозова // Вычислительные технологии. — 2023. — Т. 28, № 3. — С. 45-55.

12⠄Ефимов, А. В. Основы машинного обучения : учебник для вузов / А. В. Ефимов, И. С. Кузнецов. — Москва : Издательство Юрайт, 2024. — 456 с. — (Высшее образование). — ISBN 978-5-534-16789-0.

13⠄Жуков, Д. А. Логирование и воспроизводимость результатов в экспериментах по машинному обучению / Д. А. Жуков // Системы управления и информационные технологии. — 2022. — № 4. — С. 72-78.

14⠄Зайцев, Р. В. Адаптивные методы регуляризации деревьев решений / Р. В. Зайцев, Т. А. Белова // Информатика и её применения. — 2023. — Т. 17, № 2. — С. 55-63.

15⠄Иванов, П. К. Методика экспериментального исследования алгоритмов классификации / П. К. Иванов, А. С. Смирнова // Вестник Томского государственного $$$$$$$$$$$$. $$$$$$$$$$, $$$$$$$$$$$$$$ $$$$$$$ $ $$$$$$$$$$$. — $$$$. — № $$. — С. $$-$$.

$$⠄$$$$$$, $. $. $$$$$$$$$$$ $$$$$$$$$ $$$$$$ $$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$$$ / $. $. $$$$$$, $. $. $$$$$. — $$$$$$ : $$$$$$$$$$$$ $$$$, $$$$. — $$$ $. — $$$$ $$$-$-$$$$-$$$$-$.

$$⠄$$$$$$$$, $. $. $$$$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$ $$ $$$$$$$$$$$ $$$$$$$$ $$$$$$$ $$$$$$ / $. $. $$$$$$$$, $. $. $$$$$$$$$ // $$$$$$$$$$ $$$$$$$$$$$. — $$$$. — $. $$, № $. — $. $$-$$.

$$⠄$$$$$$$, $. $. $$$$$$$$$$ $$$$$$$$ $$$$$$$ $ $$$$$$$$ $$$$$$$$$$$ $$$$$$$$$ / $. $. $$$$$$$, $. $. $$$$$$$ // $$$$$$$ $$$$$$$$$$$$$$$$$. — $$$$. — № $. — $. $$-$$.

$$⠄$$$$$$$$, $. $. $$$$$ $$$$$$$$$$$ $$$$$$$ $$$$$$ $$$$$$$ $$ $$$$$$ $$$$$$$ $$$$$$ $$$$$$$$ / $. $. $$$$$$$$ // $$$$$$$ $$$$$$$$$$$$. — $$$$. — $. $$, № $. — $. $$$-$$$.

$$⠄$$$$$$$$, $. $. $$$$$$ $$$$$$$$$$$$$$$$$$ $$$$$$$$$$ $$$$$$$$$ $$$$$$$$ $$ $$$$$$ $$$$$$$$ $$$$$$ / $. $. $$$$$$$$, $. $. $$$$$$ // $$$$$$$$$$$$$$$$. — $$$$. — № $. — $. $$-$$.

$$⠄$$$$$$$$, $. $. $$$$$ $$$$$$$$ $$$$$$$$$ $ $$$$$$$ $$$$$$$$$$$$$ $$ $$$$$$ $$$$$$$$$$$$ $$$$$$$$ / $. $. $$$$$$$$, $. $. $$$$$$$ // $$$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$. $$$$$$ $ $$$$$$$ $$$$$$$$$$. — $$$$. — № $. — $. $$-$$.

$$⠄$$$$$, $. $. $$$$$$$$$$$$$ $$$$$ $$$$$$$$ $$$ $$$$$$$$$ $$$$$$$$ $$$$$$$ $$ $$$$$$$$$$$$$$$$$$ $$$$$$ / $. $. $$$$$, $. $. $$$$$$$ // $$$$$$$$ $$$$$$$$ $ $$$$$$ $$$$$$. — $$$$. — $. $, № $. — $. $$$-$$$.

$$⠄$$$$$$, $. $. $$$$$$$$$$$$ $$$$$$$$$$$$ $$$$$$$$ $$$$$$$ $ $$$$$ $ $$$$$$ / $. $. $$$$$$ // $$$$$$$$$$$$$$ $$$$$$$$$$. — $$$$. — № $. — $. $$-$$.

$$⠄$$$$$$$, $. $. $$$$$$$$$$ $$$$$$$$$ $$$$$$$$$$$$$ $ $$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$ / $. $. $$$$$$$, $. $. $$$$$$ // $$$$$$$ $$$$$$$$$$$$ $ $$$$$$$$$$$$$$ $$$$$$$$$$. — $$$$. — № $$. — $. $$-$$.

$$⠄$$$$$$$, $. $. $$$$$$$$$$$ $$$$$$$$$$ $$$ $$$$$$ $$$$$$$$$$ $$$$$$$$$ $ $$$$$$$$ $$$$$$$ / $. $. $$$$$$$, $. $. $$$$$$$$ // $$$$$$$$$$$$$$ $$$$$$ $ $$$$$$$$$$$$$$$$. — $$$$. — $. $$, № $. — $. $$-$$.

$$⠄$$$$$$$, $. $. $$$$$$$$$$$$$$$ $$$$$$ $$$$$$$$$$$$$ $ $$$$$$$$$ $$$$$$$$ $$$$$$$ / $. $. $$$$$$$, $. $. $$$$$$$ // $$$$$$$$$$$$$$$$ $$$$$$$. — $$$$. — $. $$, № $. — $. $$$-$$$.

$$⠄$$$$$$$$, $. $. $$$$$$ $$$$$$$$$$$$$$$$$$ $$$$$$ $ $$$$$$$$$$$$$$ $$$$$$$$ $$$$$$$ / $. $. $$$$$$$$, $. $. $$$$$$$$$$ // $$$$$$-$$$$$$$$$$$. — $$$$. — № $. — $. $$-$$.

$$⠄$$$$$$$, $. $. $$$$$$$$$$$ $$$$$$$$$$$$$$$$$ $$$$$$$$$$$ $ $$$$$$$$$$$$$ $$ $$$$$$$$$ $$$$$$$$ / $. $. $$$$$$$ // $$$$$$$$$$. — $$$$. — № $. — $. $$-$$.

$$⠄$$$$$$, $. $. $$$$$$ $$$$$$$$$$$$$$$$$$ $$$$$$$ $$$$$$$$ $$$$$$$ / $. $. $$$$$$, $. $. $$$$$$$$$ // $$$$$$$$$$$$$ $$$$$$$$$ $ $$$$$$$$ $$$$$$$. — $$$$. — № $. — $. $$-$$.

$$⠄$$$$$$$$, $. $. $$$$$$ $$$$$$$$$$$$ $$$$$$$$$$ $ $$$$$$$ $$$$$$$$$$ $$$$$$$$ $$$$$$$ / $. $. $$$$$$$$, $. $. $$$$$$$ // $$$$$$$$$$$$ $$$$$$$$$$$$$$ $$$$$$$$$$. — $$$$. — $. $$, № $. — $. $$$-$$$.