Han ble født på Sicilia av fromme foreldre, Plotinus og Agatha. Josefs familie måtte flykte fra Sicilia da muslimene invaderte øya. Det nøyaktige sted de bodde, varierer i kildene. Men det anses som mest sannsynlig at han kom fra Val Demone, der et flertall av de østlig-ortodokse gruppene var bosatte. Muligens dro familien fra øya i 831, fra havnebyen Palermo, som han selv oppfattet som sin hjemby. Hagiografen Theodor Pediasimos mener på den annen side at han kom fra Siracusa og at de reiste ut derfra. Ifølge hagiografen Theophanes dro de til Peloponnes.