С учётом актуальности Multiple instance learning (далее: MIL) и, в частности, наличия преимуществ данного метода для анализа гистологических изображений, решил попробовать обучить модели с целью классификации наборов данных, на те, которые содержат только нормальные ткани и те, в которых встречаются изображения со светлоклеточным раком почки. GitHub - репозиторий В основном ориентировался на 2 проекта по данной тематике :   Имплементация MIL Attention layer на Keras - ссылка  Проект реализации Attention-based Deep Multiple Instance Learning для анализа гистологических изображений - github  Для обучения моделей использовались датасеты, содержащие 500, 1000 и 2000 наборов (bags of instances). Соотношение позитивных (содержащих изображения со светлоклеточным раком почки) и негативных (содержащих только нормальные ткани) было 1:1. В каждом наборе присутствовало 40 цветных изображений  в формате .jpeg с разрешением 256х256 пикселей, полученных с полнослайдовых изображений исследования CPTAC-CCRCC (WSI можно найти в свободном доступе на сайте Cancer Imaging Archive). В позитивных наборах  20 из 40 изображений были со светлоклеточным раком почки. Аннотацию WSI проводил я самостоятельно ( т.к. по профессии являюсь патологоанатомом) и подробнее процесс описал в другой статье (ссылка) .  Все изображения в датасете можно разделить на 2 класса : нормальные ткани (кровь, строма, жировая ткань, ткань почки) и светлоклеточный рак почки (CCRCC). Датасеты были сгенерированы искусственно, путём случайного выбора изображений из пула изображений нормальных тканей и рака, без замены (т.е. одно изображение могло попасть только в один набор).  С целью эксперимента модель была обучена на трёх датасетах с различным количеством наборов данных : Model_500 - модель обученная на датасете, содержащем 500 наборов данных Model_1000 - модель обученная на датасете, содержащем 1000 наборов данных Model_2000 - модель обученная на датасете, содержащем 2000 наборов данных  Model Set Loss Accuracy PR_AUC ROC_AUC Precision Recall Model_500 Train 0.017599 0.9940 0.99985 0.99985 0.9940 0.9940 Val 0.013762 1 1 1 1 1 Model_1000 Train 0.0069 0.9980 1 1 0.9980 0.9980 Val 0.00123 1 1 1 1 1 Model_2000 Train 0.0117 0.9970 0.9992 0.9994 0.9970 0.9970 Val 0.00010 1 1 1 1 1 Лучшие результаты при обучении показала Model_2000, обученная на датасете, содержащем наибольшее количество данных.   Для тестирования каждой модели было подготовлено 4 датасета с различным распределением изображений в наборе Тестовые датасеты: Test_40_20 - датасет, в позитивных наборах которого, из 40 изображений,  20 составляли изображения со светлоклеточным раком почки. Test_40_10 - датасет, в позитивных наборах которого, из 40 изображений,  10 составляли изображения со светлоклеточным раком почки. Test_40_5 - датасет, в позитивных наборах которого, из 40 изображений,  5 составляли изображения со светлоклеточным раком почки. Test_40_1 - датасет, в позитивных наборах которого, из 40 изображений,  1 составляли изображения со светлоклеточным раком почки. С целью эксперимента хотел посмотреть, какие результаты покажут модели на датасетах с меньшим количеством позитивных изображений в наборе.  Наилучшие результаты на 40_20 и 40_10 показала Model_2000 с точностью в 99.5 % и 98.7 %  соответственно. Recall (в данной задаче приоритетнее, чем точность, из-за нежелательных ложно-негативных срабатываний) составил 1 и 0.976.  Однако на датасетах 40_5 и 40_1, которые содержали наименьшее количество изображений светлоклеточного рака, качество всех моделей сильно снизилось, и лучшие результаты уже у модели, обученной на наименьшем количестве данных (Model_500) .