Albert Edelfelt var sønn av arkitekt Carl Albert Edelfelt og hans hustru Alexandra Brandt, kjøpmannsdatter fra Borgå. Albert var bror til forfatterinnen Berta Edelfelt.