Эмануэль Агаси родился в конце 1930 года в Сельмасе (Иран) в армянской семье (некоторые источники говорят о смешанном армяно-ассирийском происхождении, но в автобиографии это не подтверждено). Его отец, Давид Агасян, был выходцем из Киева, где родился в 1880-е годах и со временем стал преуспевающим плотником. Собственному делу и сбережениям Давида положили конец революция и последовавшая гражданская война, заставившие его бежать в Иран. В определённый момент, опасаясь насилия со стороны турок, которому подвергались армяне, Давид поменял фамилию на Агаси. Мать Эмануля, Нуния, также армянка, попала в Персию из Турции, откуда переехала к родным. Хотя Давид был на 20 лет старше её, это не помешало созданию семьи. С 1925 года у Давида и Нунии родились пятеро детей, из которых Эмануэль был третьим.