Вижу много незнакомых терминов: Kaggle, ML, Big Data. Что всё это значит?
Kaggle — соревновательная платформа для отработки навыков на реальных задачах. Например, там каждый может принять участие в исследовании крушения Титаника и найти интересные инсайты на основе данных о пассажирах. На платформе также можно самостоятельно изучить статьи на интересующие темы в сфере Data Science. ML — сокращение от machine learning, по-русски — машинное обучение. Это методы и алгоритмы, с помощью которых можно построить самообучаемую модель для решения любых задач: классификации текстов, распознавания фотографий, рекомендации фильмов в онлайн-кинотеатре или, например, предсказания цен на недвижимость. Нейросеть — один из видов алгоритмов машинного обучения, который у многих на слуху. ML-инженер — специалист по машинному обучению, который умеет строить такие модели и готовить их для использования бизнесом. Big Data — огромные массивы неструктурированных данных, которые генерирует бизнес, государство и обычные люди. Задача дата-сайентиста — с помощью специальных инструментов обработать, проанализировать и сделать полезные выводы из этих данных. Например, компания агрегатор такси может пересмотреть тарифную сетку на основе данных о поездках пассажиров города, а продуктовый магазин персонализировать ассортимент товаров, изучив сведения о покупках клиентов. Data Analyst — специалист по анализу Big Data. Он анализирует данные, формулирует гипотезы, проводит статистические тесты, ищет закономерности и помогает бизнесу принимать взвешенные решения. Обычно, такие специалисты лично не строят ML-модели в компании, а изучают результаты исследований — смотрят на данные с разных углов и применяют инструменты для визуализации, что превратить набор цифр в понятные для бизнеса отчёты. Data Engineer — проектирует надёжную инфраструктуру для сбора, хранения и обработки Big Data. Такой специалист отлично разбирается в базах данных, программирует на Python и знает все этапы работы с данными.