学哈佛学院获得经济学学士学位，并入住文司洛普宿舍。毕业后，他入读伦敦政治经济学院，1964年在耶鲁法学院获得法律学士学位。鲁宾在纽约市的佳利律师事务所（Cleary Gottlieb Steen & Hamilton）开展他的事业。1966年，他加入高盛的风险套汇部，并在5年后成为合伙人之一。1980年，他与民主党员高级合伙人乔恩·科赞进入了管理层，后者成了美国参议员及新泽西州州长。1987年至1990年，他晋升为副主席及共同营运总监。1990年至1992年，鲁宾与弗雷德曼担任共同主席及共同高级合伙人。