Han var sønn av sogneprest og stortingsrepresentant Olaf Kristian Amundsen, og bror av juristen og politikeren Olaf Amundsen. Han var yngst av fem sønner og kom til verden på sin morfar Johan Fredrik Paasches dødsdag. Det ble derfor bestemt at han skulle føre morfarens slektsnavn videre, da moren ikke hadde noen brødre. I 1905 tok han sin mors pikenavn Paasche. Han var gift to ganger, begge ganger med svenske kvinner.