Eparchius Avitus pochádzal z váženej aristokratickej senátorskej rodiny z narbonskej Galie (dnešná Provance), z mesta Narbo. Jeho otec bol Flavius Iulius Agricola, pretoriánsky prefekt Galie a konzul. Avitus sa narodil v galskom meste "Augustonemetum" (dnes Clermont-Ferrand). Avitus slúžil v armáde pod velením Flavia Aetia a zúčastnil sa na jeho najslávnejších výpravách proti Vizigótom, Frankom a Burgundom. Bol to práve Avitus, ktorý presvedčil vizigótskeho kráľa Teodoricha I. aby sa pridal k Rimanom v bitke na Katalaunských poliach proti Atilovi.