Hans far Andronikos Dukas Angelos (født ca. 1122 – død en gang etter 1185) var en militær kommandant i Lilleasia og han ble gift med Euphrosyne Kastamonitissa en gang før 1155. Han var sin tur sønn av Konstantinos Angelos (ca. 1085 – etter 1166), admiral på Sicilia, og Theodora Komnene, den yngste datteren av keiser Alexios I Komnenos og Eirene Doukaina. På den måten var Isak et medlem av keiserfamilien.