撒路（Emma Lazarus）；另一位是弗朗西斯·刘易斯·卡多佐，职业为教士、政治家和教师。本杰明从他叔叔本杰明·内森得名，后者是纽约证交所副主席，死于1870年未解谋杀案。父亲阿尔伯特·卡多佐是纽约最高法院（初审法院）的法官。1868年，他卷入伊利铁路接管纠纷引发的腐败丑闻而辞职。丑闻导致纽约市律师协会创立。离开法院后，他又从事法律业务近二十年，直至1885年去世。
早年.1879年，丽贝卡·卡多佐去世，留下年幼的本杰明和艾米丽。年仅11岁的姐姐内尔（Nell）将他们拉扯成