В 1890-х годах Остроухов начал формировать свою художественную коллекцию. Этому способствовала его женитьба в июле 1889 года на дочери богатого чаеторговца Н. П. Боткиной. В качестве приданого был получен дом в Трубниковском переулке (№ 17). Первой картиной живописного собрания Остроухова стал этюд В. Д. Поленова «Лодка», подаренный ему автором ещё летом 1882 года, в 1885 году И. И. Левитан подарил этюд «Мостик. Саввинская слобода». Со временем оно пополнилось произведениями И. Е. Репина (17 живописных работ), В. А. Серова (12 живописных работ), В. Д. Поленова (11 живописных работ), М. А. Врубеля (3 работы), В. И. Сурикова (6 работ), И. И. Левитана; русская школа первой половины — середины XIX века была представлена картинами П. А. Федотова, Ф. А. Васильева (11 картин и этюдов), А. К. Саврасова. В собрание входили уникальные работы А. П. Лосенко, Ф. М. Матвеева, А. Е. Егорова, В. К. Шебуева, Ф. А. Бруни, П. Ф. Соколова, К. П. Брюллова, О. А. Кипренского. В коллекции Остроухова преобладали этюды, так как именно их он высоко ценил. Раздел западноевропейской живописи был сравнительно небольшим сравнительно с русским; в нём выделялись работы мастеров импрессионизма Э. Дега, О. Ренуара, Э. Мане («Портрет Антонена Пруста») и А. Матисса; одна из картин («Монахиня на смертном ложе»), числившаяся у Остроухова произведением неизвестного испанского художника, затем некоторое время называлась работой Ф. Гойи. В послереволюционное время Остроухов отмечал: «Масляной живописи русских художников — 330, рисунков русских художников — 550».