Sven Stolpe var sønn til overkontrollør Johan Stolpe og Maria Schwartz. Redaktøren, oversetteren og forfatteren Birger Stolpe og forleggeren og skribenten Herman Stolpe var brødrene hans; oversetteren og litteraturkritikeren Jan Stolpe – sønn av Birger Stolpe – var nevøen hans.