和外祖父母都来自葡萄牙犹太人社区，参加曼哈顿犹太教堂（Congregation Shearith Israel）。在美国独立之前，全家从英国伦敦移民至此。卡多佐家人为犹太裔新基督徒皈依者，在西班牙宗教裁判所折腾之时离开伊比利亚半岛前往荷兰，而后回归犹太教。卡多佐家庭传统可以追溯到葡萄牙玛拉诺人（marrano，新基督徒皈依者但秘密保持犹太教信仰），不过卡多佐先祖并非严格意义上的葡萄牙本地人。不过，“Cardozo”（“Cardoso”的古语）、“Seixas”和“Mendes”都是葡萄牙语伊比利亚常见姓