Stefan Dybowski był synem Zofii i Teodora Dybowskiego, który od czasu strajku szkolnego w 1905 pozostawał pod stałym nadzorem policyjnym. Ojciec Teodora brał udział w powstaniu listopadowym. Władze rosyjskie zmusiły Teodora Dybowskiego i jego rodzinę do opuszczenia Zduńskiej Woli i zamieszkania w Piwonicach (obecnie dzielnica Kalisza), gdzie Teodor został nauczycielem.