Dynastiet ble grunnlagt av Konstantin Angelos (1093-1166), en aristokrat fra Alaşehir (også kjent under navnet Filadelfia) i Lilleasia (nåværende Tyrkia), som giftet seg med Theodora Komnene, datter av den østromerske keiser Alexios I Komnenos. De hadde tre sønner, sebastokrator Johannes Dukas, Andronikos Dukas Angelos og Alexios Komnenos Angelos. Flere av etterkommerne valgte å bruke andre familienavn enn Angelos-navnet.