README.md

---
title: Landmark Recognition
emoji: 🗺️
colorFrom: purple
colorTo: green
sdk: streamlit
sdk_version: 1.29.0
app_file: src/main.py
pinned: false
---

# Распознавание достопримечательностей

## Веб-приложение
Данный веб-приложение на `Streamlit` предназначено для распознавания и вывода информации о достопримечательностях для улучшения опыта путешествий пользователей. По загруженным фотографиям приложение с помощью API `Википедии` определит названия достопримечательностей, выведет короткие описания и отобразит их на карте с помощью `Mapbox`.

![Alt text](images/demonstration.gif)

[Попробовать на HuggingFace](https://huggingface.co/spaces/molokhovdmitry/landmark_recognition)

*Функция суммаризации работает очень медленно из-за недостаточных ресурсов, предоставляемых `HuggingFace` при использовании бесплатного тарифа.*

## Модель распознавания
Для распознавания фотографий была дообучена модель `GoogLeNet`, натренированная на **IMAGENET1K_V1**.
Данная модель обучена на шести достопримечательностях:
- Мемориальная квартира Пушкина на Арбате
- Новый Арбат
- Памятник Александру Пушкину и Наталье Гончаровой
- Памятники Булату Окуджаве в Москве
- Художественный кинотеатр в Москве
- Центральный Дом актёра имени А. А. Яблочкиной

## Парсер фото
Для получения тестового набора данных, на котором проводилось обучение модели распознавания был разработан скрипт, создающий датасет из фотографий достопримечательностей в поисковике Bing с помощью `crawler`.

## Установка и запуск

```
git clone https://github.com/svlipatov/proj
cd proj
pip install -r requirements.txt
streamlit run main.py
```

## Команда

**Молохов Д.А.** - ML-инженер по суммаризации текста.

**Таратута Е.Е.** - ML-инженер по подготовке и обработке датасета.

**Липатов С.В.** - ML-инженер по обучению модели распознавания изображений.

**Мальцев А.Ю.** - API-разработчик.

**Надеждин М.А.** - Разработчик интерфейса.