Caesarius kom fra en adelig gallo-romersk familie. I ung alder gikk han inn i Lérins-klosteret nær Cannes, hvor hans asketiske livsstil ble sagt å ha vært så skadelig for helsen at han ble sendt til Arelat/Arles for å komme seg.