Han vokste opp i fattige kår på Åssiden i Lier kommune, nå Drammen. Han kom fra en typisk «jernbanefamilie», - faren var lokomotivreparatør og fire av Arnes elleve søsken fikk etter hvert jobb ved jernbanen.