Hans far var fra gården Borg, Hof i Solør, og var musikksersjant i 1. Brigades Musikkorps på Fredriksten festning i Halden. I 1870 tar Alfred Oscar gårdsnavnet Borg som etternavn og skriver A. Oscar Borg.