Рођена је, као "Зоја", у Мореји (Пелопонез) 1450. или 1451., која је после пада Цариграда 1453., постала последње византијско упориште у Европи. Услед сталних сукоба између њеног оца Томе и стрица Димитрија, Морејска деспотовина је ослабљена и 1460. године је освајају Османлије. Тома је са породицом, преко Крфа побегао у Рим, у коме је Зоја прешла на католицизам. После очеве смрти 1465. године, старање над њом је преузео кардинал Висарион, некадашњи православни архиепископ и један од заговорника Фирентинске уније.