Dorff er sønn av Nancy og Steve Dorff, som var en komponist og musikkprodusent. Hans far var jødisk. Dorff vokste opp i Los Angeles, hvor hans far jobbet, og han begynte som skuespiller allerede som barn, vises i forskjellige reklamefilmer. Dorff studerte ved flere private skoler, og han ble utvist fra fem av disse.