利西亚地区雷马努夫（当时属奥匈帝国，今属波兰）的一个波兰犹太人家庭，家里信奉犹太教正统派。父亲大卫·拉比在他出生后不久就移居美国。年幼的拉比和他的母亲谢因德尔（Sheindel）在数月后与父亲在美国汇合，并搬进了曼哈顿下东城的一所两房公寓。在家里他们讲意第绪语。谢因德尔在带拉比去报名入学时对学校职员说，孩子的名字叫以西（Izzy，小以），职员以为那是“以西多”的简称，于是就在报名表上填了“以西多”。自此以后这就成为了他的法定名字。后来他为了抵抗反犹太主义，开始把名字写成较犹太的全名“以西多·艾萨克·拉比”。