Han var sønn av smeden Martinus Haldorsen, som startet fabrikken som ei smie i 1880-åra. Firmaet ble reorganisert i 1908 som «M. Haldorsen & Sønner Motorfabrik». Haldor, som var den eldste av tre brødre, ble disponent.