Hans far var matematikeren Carl Størmer (1874–1957). Han var far til matematikeren Erling Størmer (født 1937).