Машинное обучение

Машинное обучение (Machine Learning, ML) — это раздел информатики и математики, в котором компьютер учится находить закономерности в данных сам, без того чтобы программист прописывал каждое правило вручную.

Обычное программирование работает так: человек пишет правила → программа им следует. В машинном обучении всё наоборот: программе дают данные и правильные ответы → она сама выводит правила.

Вы не пишете программе: «если письмо содержит слово “выигрыш” — это спам». Вы показываете ей 10 000 писем, помеченных как «спам» и «не спам», — и она сама учится отличать одно от другого.

Немного истории

Термин «машинное обучение» появился в 1959 году — его ввёл Артур Сэмюэл, инженер из IBM, который написал программу, играющую в шашки. Программа улучшала свою стратегию с каждой партией, не получая новых инструкций от человека.

Долгое время ML развивался медленно — не хватало данных и вычислительных мощностей. Всё изменилось в 2010-х годах: интернет наполнился огромными объёмами данных, видеокарты (GPU) стали достаточно мощными, а облачные сервисы сделали вычисления доступными. Машинное обучение начало проникать всюду — от рекомендаций в Netflix до автопилотов Tesla.

Отдельное направление — генеративные модели (LLM, ChatGPT и другие). Про них будет своя страница, здесь мы сосредоточимся на фундаменте.

Направления машинного обучения

Картинка взята из блога https://vas3k.blog/ и там тема расскрыта хорошо.

Обучение с учителем

Самый понятный тип. Модели дают данные + правильные ответы, и она учится предсказывать ответ для новых данных. «Учитель» — это и есть те самые правильные ответы (их ещё называют «разметкой»).

Регрессия

Модель предсказывает число. На входе — набор характеристик, на выходе — конкретное значение.

Вы даёте модели данные о квартирах: площадь, этаж, район, год постройки. И цену, за которую их продали. Модель учится и теперь может предсказать цену для новой квартиры, которую она раньше не видела.

Классификация

Модель предсказывает категорию. Не число, а ответ из заранее известных вариантов.

Банк показывает модели тысячи заявок на кредит — одобренные и отказанные. Модель учится и теперь для каждой новой заявки может сказать: «одобрить» или «отказать».

У нас есть хороший проект для иллюстрации данной модели. https://culturacompass.com/ru/

Train/Test Split

Train/Test Split - это способ проверить, насколько хорошо твоя модель машинного обучения будет работать на новых данных, которые она раньше не видела. Идея простая: берешь свой датасет и делишь его на две части. Большую часть (обычно 80%) отдаешь модели для обучения, а меньшую (20%) прячешь от нее.

Модель учится на train-части, находит закономерности, строит свои правила. А потом ты даешь ей test-часть и смотришь, насколько точно она предсказывает результат на данных, которые никогда не видела.

Зачем это нужно? Если проверять модель на тех же данных, на которых она училась, она покажет отличный результат, но это обман. Это как дать студенту экзамен с теми же вопросами, по которым он готовился. Настоящая проверка - это новые вопросы. Test-выборка и есть такой “честный экзамен”. Если модель хорошо справляется с test-данными, значит она действительно уловила закономерности, а не просто запомнила ответы. Если плохо - скорее всего, произошло переобучение (overfitting), и модель нужно дорабатывать.

Обучение без учителя

Здесь нет правильных ответов. Модель получает только данные и должна сама найти в них структуру, закономерности или аномалии.

Кластеризация

Модель группирует похожие объекты, хотя никто не говорил ей, какие группы бывают.

У интернет-магазина 50 000 клиентов. Модель анализирует их поведение и сама делит на группы: «покупают часто и дёшево», «покупают редко, но дорого», «заходят, но ничего не покупают». Маркетологи потом работают с каждой группой по-разному.

Поиск правил

Модель ищет связи между событиями — что часто происходит вместе.

Классический пример из ритейла: модель обнаружила, что покупатели, берущие детские подгузники в пятницу вечером, часто кладут в корзину пиво. Магазин поставил пиво рядом с подгузниками — продажи выросли.

Пример

FP-Growth - это алгоритм для поиска часто встречающихся комбинаций элементов в данных. Например, если в магазине люди часто покупают хлеб вместе с молоком, алгоритм это найдет. Как он работает: сначала считает, какие элементы встречаются чаще всего, потом строит специальное дерево (FP-tree), где общие начала транзакций объединяются в одни ветки. Это позволяет компактно хранить данные и быстро находить закономерности.

Уменьшение размерности

Модель упрощает данные, убирая лишнее, но сохраняя суть. Это нужно, когда у каждого объекта слишком много характеристик и с ними сложно работать.

У каждого клиента 200 параметров: что покупал, когда заходил, откуда пришёл, какой браузер, сколько времени провёл на каждой странице… Модель сжимает это до 5–10 ключевых факторов, которые описывают клиента почти так же хорошо. Теперь с этими данными реально работать.

Можно поиграться с методом Анализ соответствий в нашем инструменте.

Ансамблевые методы

Идея простая: один ум хорошо, а много — лучше. Вместо одной модели берут сразу несколько и объединяют их ответы. Итоговый результат получается точнее, чем у любой отдельной модели.

Два основных подхода: бэггинг — несколько моделей учатся независимо, а потом «голосуют» за ответ. Бустинг — модели учатся последовательно, каждая следующая исправляет ошибки предыдущей.

Представьте, что вы спрашиваете совет не у одного врача, а у десяти. Каждый ставит свой диагноз, и итоговый вердикт — тот, за который проголосовало большинство. Шанс ошибиться резко падает.

Нейросети и глубокое обучение

Нейросети — это модели, вдохновлённые устройством мозга. Они состоят из слоёв «нейронов», которые передают сигналы друг другу. Чем больше слоёв — тем «глубже» сеть, отсюда термин «глубокое обучение» (Deep Learning).

Нейросети умеют находить невероятно сложные закономерности, которые другие методы просто не видят. Именно они стоят за распознаванием лиц, голосовыми помощниками, переводчиками и генерацией изображений.

Минус — им нужно очень много данных и мощное железо для обучения. А ещё они работают как «чёрный ящик»: дают результат, но объяснить, почему именно такой, часто невозможно.

Вы загружаете фотографию в приложение, и оно за секунду говорит: «это родинка, а не меланома». Внутри работает нейросеть, обученная на миллионах медицинских снимков. Она научилась видеть отличия, которые иногда не замечает даже опытный врач.

Рекомендации

Если вы хотите по лучше разобраться в этой теме, то рекомендуем курсы Анатолия Карпова на stepik.