Han var sønn av skipsfører Bernt Middelthon, som seilte i utenriksfart og døde relativt ung, og hans engelske kone Kate King. Statsråd og stortingsmann Cornelius Middelthon var hans fars fetter.