Albert Viljam Hagelins far, Harald Joachim Hagelin (1852–1889), var gullsmed, men døde da sønnen var ni år gammel. Han tilhørte en svensk slekt som hadde innvandret til Norge tidlig på 1700-tallet. Hagelins mor, Gerd Anna Hedvig Eleonore Meyer (1857–1926), var av dansk-jødisk herkomst. Albert Hagelin var svoger til Kjeld Stub Irgens og bror av Høyre-politiker og fabrikkeier Robert Hagelin.