Sidonius ble født i Lugdunum (Lyon) og tilhørte en gallo-romersk adelsfamilie. Han fikk den beste utdannelse og utmerket seg poesi og finere litteratur. Hans liv og bekjentskaper gav ham førstehånds kjennskap til det som foregikk i Romerriket på denne tiden. Hans far, Apollinaris (født ca. 405), var prefekt i Gallia under keiser Valentinian III fra 425 til 455. Han var igjen sønn av en annen Apollinaris, pretorianerprefekt i Gallia før 409, og en venn av dennes etterfølger Decimus Rusticus.