Eliot er av østerriksk-jødisk bakgrunn. Han avla i 1981 sin grunneksamen ved Princeton University og fortsatte deretter ved Harvard Law School. Da han tok sin juridiske eksamen, arbeidet han for en dommer i Manhattan. Deretter arbeidet han i et par år for et advokatfirma. Han var delstaten New Yorks statsadvokat fra 1999 til 2006, og markerte seg som aktiv og håndfast i dette vervet.