Holm ble født i Bergen, som sønn av Anne Sophie Wibye Ellerhusen og Arne Holm, som var bankmann. Moren kom fra en velstående bergensk slekt og hadde i sin ungdom lært å male hos tegneren og maleren Olav Rusti. Arne hadde en ett år yngre bror, og moren lot guttene leke med tegning, vannfarger og modellering.