Foreldrene skilte seg da Somerhalder var 13 år. Han vokste opp med sin mor, som han har beskrevet som «veldig spirituell», og begynte på katolsk skole. Etter egne utsagn hadde han en flott barndom med hester, motorsykler og båter, men husker at han alltid ønsket det som var litt større eller litt bedre. Moren foreslo da at han skulle begynne som modell, ettersom hun hadde kontakter innen miljøet. I en alder av 10 år begynte da Somerhalder sin karriere.