В 1905 году Серов, помимо «Ермоловой», создал портреты Фёдора Шаляпина и Максима Горького. Эту группу произведений, а также написанный двумя годами позже портрет прозаика Леонида Андреева объединяет наличие тёмных, почти траурных силуэтов — искусствовед Глеб Поспелов назвал их «фигурами в чёрном». Появление ряда картин, отражающих напряжённо-драматическое настроение живописца, связано, вероятно, с присущим Серову «чувством России». Если в его ранних работах (например, в «Девочке с персиками») искусствоведы обнаруживают мажорное мироощущение автора, позитивно относящегося к «цветущему усадебному укладу», то полотна, написанные художником во время Первой русской революции, несут на себе печать «России омрачённой». Серов весьма остро отреагировал на события, происходившие 9 января 1905 года, — из окна Академии художеств он наблюдал за столкновением толпы с войсками на Пятой линии Васильевского острова. По утверждению Ильи Репина, с той поры «его милый характер круто переменился». Вместе с Поленовым Серов подготовил письмо, адресованное совету Академии, в котором напомнил, что «лицо, имеющее высшее руководительство над этими войсками, стоит во главе Академии художеств». 10 марта — во время работы над портретом Ермоловой — Серов подал заявление о сложении с себя полномочий академика. Его отставка была принята в мае 1905 года.