På privaten giftet han seg i 1928 med Johanna Danielsen (1909–96) fra Bergen. Han jobbet som "Automobilselger". Kona jobbet som mannequin i hovedstaden. Deres to døtre Grete Brunvoll (1930–2022) og Mette Møller (1934–2001) ble begge ballettdansere. Arne's søster Else Møller ble også danserinne. De var barn av Frithjof H. I. Møller (født 1877) og Anna M. Pedersen (født 1878).