Sografs Vater Georgi (Juri) Christoforowitsch Sograf (1818–1871) war griechischer Herkunft, diente in der Kaiserlich Russischen Armee und wurde Richter in Ljubim. Sografs Mutter Awdotja (Jewdokija) Iwanowna geborene Filissowa (1830–1902) stammte aus einer adligen Familie mit Teilnehmern des Französisch-Russischen Krieges 1812. Sograf wuchs im Dorf Dorskoje auf und kam als Achtjähriger nach Jaroslawl.