Berge var sønn av stereotypør Alfred Berge (1878–1962), moren var Albertine Johanne, født Husebø (1879–1956). Han begynte sine studier ved Universitetet i Oslo i 1928 og ble cand.theol. våren 1934, med praktikum høsten 1934. Arne Berge ble i 1948 gift med Ragnhild Røe (født 28. mai 1904). Hun var fra Brevik og datter av skipsreder Cornelius Røe (1856–1910) og Johanne Cathrine Larsen (1867–1944).