Joel Rogosin vokste opp i Boston og så i Virginia, der han gikk på i Arlington og Falls Church. Rogosin ble uteksaminert fra Stanford University i 1955.