Вижу много незнакомых терминов: Kaggle, ML, big data. Что всё это значит?
Kaggle — соревновательная платформа для отработки навыков на реальных задачах. Например, там каждый может принять участие в исследовании крушения Титаника и найти интересные инсайты на основе данных о пассажирах. На платформе также можно самостоятельно изучить статьи на интересующие темы в сфере data science. ML — сокращение от machine learning, по-русски — машинное обучение. Это методы и алгоритмы, с помощью которых можно построить самообучаемую модель для решения любых задач, например, классификации текстов, распознавания фотографий, рекомендации фильмов в онлайн-кинотеатре или предсказания цен на недвижимость. Нейросеть — один из видов алгоритмов машинного обучения, который у многих на слуху. ML-инженер — специалист по машинному обучению, который умеет строить такие модели и готовить их для использования бизнесом. Big data — огромные массивы неструктурированных данных, которые генерирует бизнес, государство и обычные люди. Задача дата-сайентиста — с помощью специальных инструментов обработать и проанализировать эти данные, а затем сделать полезные выводы на их основе. Например, агрегатор такси может пересмотреть тарифную сетку на основе данных о поездках пассажиров города, а продуктовый магазин — персонализировать ассортимент товаров, изучив сведения о покупках клиентов. Data analyst — специалист по анализу big data. Он анализирует данные, формулирует гипотезы, проводит статистические тесты, ищет закономерности и помогает бизнесу принимать взвешенные решения. Обычно такие специалисты лично не строят ML-модели в компании, а изучают результаты исследований — смотрят на данные с разных углов и применяют инструменты для визуализации, чтобы превратить набор цифр в понятные для бизнеса отчёты. Data engineer — проектирует надёжную инфраструктуру для сбора, хранения и обработки big data. Такой специалист отлично разбирается в базах данных, программирует на Python и знает все этапы работы с данными.