Han var enebarn av Arne og Hulda Garborg. Hans barndom er mye omtalt i foreldrenes dagbøker, brev og avisartikler. Han var oppkalt etter sin far, og «Norges første sosialist» Olaus Fjørtoft. Arne O. Garborg tok over barndomshjemmet Labråten i Asker, der han bodde sammen med kone og sine barn. Huset er i dag museum. Her henger Gustav Wentzels maleri av ham, «Tuften på ski».