Глава 24 · Что дальше? Roadmap Python-разработчикаData Science, ML и AI: roadmap
Данные, математика, эксперимент, оценка и инженерная поставка без смешения использования модели с её обучением.
Data, ML и AI не являются одним навыком
Аналитик исследует и объясняет данные. ML-инженер строит и поставляет систему, которая использует обученную модель. Исследователь разрабатывает и проверяет методы. Роли пересекаются, но требуют разной глубины математики, эксперимента и эксплуатации.
| Уровень работы с моделью | Что Вы делаете | Что обязаны проверить |
|---|---|---|
| Использование готовой модели | Вызываете локальную или внешнюю модель внутри продукта. | Лицензия, данные, стоимость, latency, отказ, качество на своих сценариях. |
| Адаптация и оценка | Настраиваете pipeline, признаки, параметры или fine-tuning. | Baseline, split без leakage, метрики, воспроизводимость, error analysis. |
| Обучение и исследование | Проектируете модель или процедуру обучения. | Математические предпосылки, экспериментальный контроль, вычислительный бюджет, статистическая честность. |
Зависимости roadmap
Минимальная научная дисциплина
- Сформулируйте задачу и единицу наблюдения до выбора алгоритма.
- Исследуйте происхождение данных, пропуски, смещения и допустимость использования.
- Зафиксируйте простой baseline. Сложная модель должна выигрывать по заранее выбранной метрике.
- Разделите train, validation и test так, чтобы информация не утекала между частями.
- Смотрите не только на среднее число, но и на ошибки по важным группам и сценариям.
- Сохраняйте код, конфигурацию, seed, версии данных и среды настолько, насколько это нужно для воспроизведения.
Инструменты по роли
Проект для проверки направления
Возьмите открытый набор данных, сформулируйте один проверяемый вопрос, сделайте data audit, baseline и воспроизводимый pipeline. Для ML добавьте корректное разделение, метрику, error analysis и model card с ограничениями. Для приложения с готовой AI-моделью добавьте тестовый набор своих сценариев, тайм-аут, обработку недоступности и границу данных. Не называйте демонстрацию обучения доказательством качества в эксплуатации.