Manuel nació tras la Caída de Constantinopla, y pasó su infancia en Morea (actual Peloponeso), hasta que ésta fue invadida por los otomanos en 1460, y su familia huyó primero a Corfú, y luego a Roma, donde el Papado reconoció a su padre como emperador bizantino. Algunas fuentes afirman que a la muerte de su padre, sus hijos fueron puestos bajo la custodia del afamado humanista Basilio Besarión.