Arne Sandberg ble gift med Anna Hougaard (1923-2013) i 1948. De fikk tre sønner – Espen, Pål og Per, som vokste opp i Kringkollen på Bøler.