Sven Stolpe giftet seg i 1931 med oversetteren og forfatteren Karin von Euler-Chelpin, datter av professor Hans von Euler-Chelpin – som mottok nobelprisen i kjemi i 1929 – og kjemikeren, geologen og botanikeren Astrid Cleve. Sven og Karin Stolpe var foreldre til forfatteren Staffan Stolpe, Lisette Schulman (og dermed morfar til bloggeren, spaltisten, radioprateren og forfatteren Alex Schulman og bloggeren Carl (Calle) Schulman), oversetteren Monica Rennerfelt og Benkt Stolpe. På 1950-tallet bodde familien på herregården Valåsen, øst for Karlskoga.