Philaretos, som hadde dåpsnavnet , stammen fra en bondefamilie av gresk herkomst. Da han var 18 år gammel, flyktet familien fra sarasenerne; de forlog Sicilia og dro over til Calabria.