Alfred Ipsen blev født på Christianshavn. Hans slægt havde hjemme i Jernved, Slesvig , hvorfra farfaderen kom til Danmark i århundredets begyndelse. Forældrene, handskemager, siden arbejdsmand, Diderik Heinrich Buntzen og Martha født Hansdatter, døde med få dages mellemrum under Koleraepidemien 1853; deres mange børn spredtes rundtom; den yngste, Alfred, kom i pleje hos og blev siden adopteret af et barnløst ægtepar, Hans Steenstrup Ipsen (født 1808), da sognepræst til Rørbæk-Grynderup-Stenild i Hedeegnen nord for Hobro, og Johanne Marie Christiane født Møller (født 1814).