Selv om han aldri giftet seg hadde Rothschild to elskerinner, og med en av dem fikk han en datter, men han fikk aldri noen legitime barn. I 1929 kjøpte Rothchild et stort herskapshus ved Upper East Side på Manhattan, New York som var over kvadratmeter stort. Han hadde stor interesse for taksonomi av fugler og sommerfugler.