Han var sønn av Christian August Andersen (1843—1910) og Anne Marie Nielsen (1844). Faren var musikkpedagog. I 1897 giftet Alfred seg med Anne Marie Belsjø (1869), havneassistentens datter.