Elgort ble født i New York. Foreldrene hans er Arthur Elgort, en fotograf som jobbet for , og Grete Barrett Holby, en operaregissør. Hans far er av russisk-jødisk avstamning, og hans mor er av engelsk, tysk og norsk herkomst. Elgorts norske mormor, Aase-Grethe, var i den norske motstanden under andre verdenskrig, og reddet norske jødiske barn ved å flytte dem til det nøytrale Sverige; på grunn av disse aktivitetene, ble hun fengslet i en konsentrasjonsleir.