利的黎巴嫩人，母亲弗朗西斯卡·卡尔瓦嘉（）生于意大利西西里大区阿格里真托省的夏卡。约瑟夫从小在意大利语环境中长大，一家人在他四个月大时移居纽约布鲁克林区的弗拉特布什（）。约瑟夫的两个弟弟拉里（）和泰德（）都曾参与第二次世界大战，拉里曾跟随美国陆军投身西西里岛战役，泰德则是美国陆军航空军的战斗机飞行员，曾参与阿留申群岛战役。约瑟夫的父亲文森特本来拥有三间理发店，家境非常富裕，但由于他沉迷赌博，财富逐渐挥霍一空。文森特之后在长子15岁那年抛妻弃子，约瑟夫心中的父亲形象逐渐由舅舅吉姆（）取代。巴伯拉早在上一年