Leo werd geboren in Thessalië. Hij was een neef van de patriarch van Constantinopel, Johannes Grammaticus. In zijn jeugd werd hij opgeleid in Constantinopel. Hij reisde naar de kloosters van Andros, waar hij erin slaagde zeldzame manuscripten te verwerven. Hij leerde daar wiskunde van een oude monnik. In eerste instantie gaf hij in obscuriteit privé-lessen in Constantinopel. Het verhaal gaat dat toen een van zijn leerlingen gevangen werd genomen tijdens de Byzantijns-Arabische oorlogen, de kalief al-Mamun zo onder de indruk was van zijn kennis van de wiskunde dat hij Leo grote rijken aanbood als hij naar Bagdad zou komen. Leo bracht de brief van de kalief onder de aandacht van de Byzantijnse keizer Theophilos, die onder de indruk van zijn internationale reputatie, hem vervolgens een school ("ekpaideutērion") toewees, in ofwel de Magnaura ofwel de kerk van de Veertig martelaren van Sebaste.