Rubin ble født i Philadelphia og vokste opp i Washington D.C. Foreldrene var jødiske innvandrere til USA. Faren, Philip Cooper, var elektroingeniør, født i Vilnius som Pesach Kobchefski. Moren, Rose Applebaum, kom opprinnelig fra Bessarabia og arbeidet for Bell Telephone Company. Hun hadde en eldre søster, Ruth Cooper Burg.