Heinrich Albertz var sønn av hoffpredikanten Hugo Albertz og hans andre hustru Elisabeth (født Meinhof). Hans halvbror Martin ble aktiv i motstandbevegelsen mot nazismen.