README.md

metadata

title: Landmark Recognition
emoji: 🗺️
colorFrom: purple
colorTo: green
sdk: streamlit
sdk_version: 1.29.0
app_file: src/main.py
pinned: false

Распознавание достопримечательностей

Веб-приложение

Данный веб-приложение на Streamlit предназначено для распознавания и вывода информации о достопримечательностях для улучшения опыта путешествий пользователей. По загруженным фотографиям приложение с помощью API Википедии определит названия достопримечательностей, выведет короткие описания и отобразит их на карте с помощью Mapbox.

Попробовать на HuggingFace

Функция суммаризации работает очень медленно из-за недостаточных ресурсов, предоставляемых HuggingFace при использовании бесплатного тарифа.

Модель распознавания

Для распознавания фотографий была дообучена модель GoogLeNet, натренированная на IMAGENET1K_V1. Данная модель обучена на шести достопримечательностях:

• Мемориальная квартира Пушкина на Арбате
• Новый Арбат
• Памятник Александру Пушкину и Наталье Гончаровой
• Памятники Булату Окуджаве в Москве
• Художественный кинотеатр в Москве
• Центральный Дом актёра имени А. А. Яблочкиной

Парсер фото

Для получения тестового набора данных, на котором проводилось обучение модели распознавания был разработан скрипт, создающий датасет из фотографий достопримечательностей в поисковике Bing с помощью crawler.

Установка и запуск

git clone https://github.com/svlipatov/proj
cd proj
pip install -r requirements.txt
streamlit run main.py

Команда

Молохов Д.А. - ML-инженер по суммаризации текста.

Таратута Е.Е. - ML-инженер по подготовке и обработке датасета.

Липатов С.В. - ML-инженер по обучению модели распознавания изображений.

Мальцев А.Ю. - API-разработчик.

Надеждин М.А. - Разработчик интерфейса.