Somerhalder ble født i Covington i Louisiana, sønn av Edna og Robert Somerhalder. Faren har engelske og franske aner og jobber som bygningsarbeider. Moren er oppvokst på en grisefarm i Mississippi og er massør. Somerhalder har en bror, Bob (tidligere profesjonell syklist), og en søster, Robin (journalist).