Arnesen ble i 1974 gift med Tove Sørsdahl (f. 1952). De fikk to barn, født i 1976 og 1983. Han var bosatt i Bærum.