Han var sønn av Evald Rygh (1842–1913) og Sofie Arntzen (1842–1913), og bror av juristen Per Rygh (1874–1941). Navnet hadde han etter en oldefar på morssiden, sorenskriver Arne Arntzen. Faren var ordfører i Kristiania og statsråd fra 1889 til 1891. Familien bodde i en villa i Eilert Sundts gate i Kristiania, hvor den ugifte onkelen Oluf Rygh og en ugift tante også bodde.