Fogels foreldre var ukrainske jøder som utvandret til USA i 1922. Robert Fogel ble født og vokste opp i New York. I sin ungdom var han et ledende medlem av det amerikanske kommunistpartiet.