Manuel tenia dos fills: Aleix i David. Es desconeix el nom de la mare, però l'historiador Aleksandr Vassíliev creu que es podria tractar d'una princesa georgiana. Els dos germans van anar a viure a la cort de la seva tia, la reina Tamara de Geòrgia. Segons l'historiador Jakob Philipp Fallmerayer aquest trasllat es va fer quan Manuel només tenia 3 anys, després de la mort del pare, però segons la hipòtesi de George Finlay els nois es van quedar a Constanitnoble, apartats del successor d'Andrònic, Isaac II Àngel.Altres historiadors anteriors, que no van tenir accés a la "Crònica de Trebisonda" de Miquel Panaretos ni als textos en llengua georgiana, per exemple Edward Gibbon, donaven la següent explicació: els dos germans eren governadors de Trebisonda i quan van arribar els soldats de la Quarta Croada a Constantinoble, Aleix es va proclamar emperador des d'allà. Vassíliev va publicar un assaig el 1936 sobre les diferents opinions i arribava a la conclusió que la hipòtesi de Fallmerayer era la més probable.