Emil Aubert var barnebarn til trelasthandler og skipsreder Hans Halvorsen Holta (1859-1941), opprinnelig fra Sauherad i Telemark.