Напиши текст вакансии для должности "Big Data Engineer (Yellow Team)". Название компании: "Semrush". Расположение: Санкт-Петербург. График работы: Полный день. Опыт работы: От 3 до 6 лет. Ключевые навыки: 'Linux', 'Golang', 'Python', 'Английский язык', 'Bash', 'Big Data', 'HDFS', 'Debian', 'C#', 'Highload'

Semrush – продуктовая IT-компания. С 2008 года мы разрабатываем свою собственную онлайн-платформу для интернет-маркетологов и у нас неплохо получается! Доказательством этому является премия WORLD’s BEST SEARCH SOFTWARE, которую мы получаем уже три года подряд. С помощью Semrush можно отслеживать эффективность сайта, оценивать положение продукта в сети, анализировать конкурентов и многое другое. Сегодня нашим сервисом пользуются 7 000 000 маркетологов из Америки, Европы, Азии и Австралии, а над созданием трудятся более 1000 человек по всему миру. С самого основания мы привержены своим фундаментальным ценностям: всегда отдавать приоритет людям, а не процессам, приспосабливаться к переменам, а не следовать строгому плану. Тебе это близко? Давай с нами! Команда и проект: Команда Backlinks Analytics занимается разработкой системы сбора и хранения ссылок между страницами в интернете. В основном работа строится вокруг следующих задач:   Скачивать и парсить сотни тысяч страниц в секунду.   Выдерживать ограничения на число одновременных запросов к ip адресу и хосту.   Хранить десятки триллионов проиндексированных ссылок.   Улучшать качество данных (быстро скачивать новые страницы, дедуплицировать страницы с одинаковым контентом, пропускать обход линк-ферм, и т. п.)   Фильтровать сырые данные и строить по ним различные сортировки и агрегации для предоставления пользователям аналитических отчетов.   Ранжировать страницы и домены между собой.   Чем придется заниматься:  Участвовать в разработке высоконагруженной распределенной системы сбора и обработки данных Решать проблемы производительности (память, диск, сеть) Решать проблемы масштабируемости Сервис написан на C++/python/go  Мы ждём от тебя:  Опыт Big Data/Highload проектах Опыт работы с Clickhouse Знания и опыт с один/нескольким языками Python/ C++/ Golang Уверенные знания Linux и Bash  Технологии, которые мы используем:  На серверах Debian Хранение данных Clickhouse, HDFS Скриптовые языки BASH, Python  Мы предлагаем:  Данное предложение подразумевает работу в формате FLEX: несколько дней в неделю работа из дома, несколько – все же из офиса (10 минут от ст.м. Московские ворота). Поверь, так будет продуктивнее и эффективнее. Мы проверили. Гибкое начало рабочего дня, которое подойдет как жаворонку, так и сове. Ты можешь начать день в период с 9:00 до 12:00. ДМС со стоматологией. Страхование жизни. Agile-подход в работе (с удовольствием всему научим). Онлайн-обучение английскому. Тренинги/онлайн-курсы/конференции/книги для прокачивания твоих hard- и soft-скиллов. Компенсация затрат на спортивные увлечения и хобби (зал/танцы/скалодромы/верховая езда/рисование/ вэйкборд… Да что угодно! Выбор за тобой). Возможность прохождения консультаций с психологом. Мы поддерживаем не только физическое, но и ментальное здоровье сотрудников. Крутые вечеринки, тимбилдинги и корпоративы в форматах офлайн и онлайн – зависит от ситуации в мире. Нам весело в любом случае:)  Semrush как работодатель предоставляет равные возможности для всех кандидатов. Мы не ограничиваем в трудовых правах и свободах в зависимости от пола, расы, цвета кожи, национальности, языка, происхождения, имущественного, семейного, социального и должностного положения, возраста, места жительства, отношения к религии, убеждений, принадлежности или непринадлежности к общественным объединениям или каким-либо социальным группам, а также от других обстоятельств, не связанных с деловыми качествами кандидата.Все решения о найме кандидатов принимаются на основании потребностей бизнеса, должностных требований, заслуг и индивидуальной квалификации.