Galerius ble født i Serdica, skjønt en del moderne forskere betrakter det strategiske stedet han bygde som palass oppkalt etter hans mor, Felix Romuliana (Gamzigrad i Serbia), er hans egentlige fødested. Hans far var traker og hans mor Romula var daker som forlot Dacia grunnet angrepene fra den dakiske stammen karperne (). Han tok i begynnelsen opp sin fars erverv som gjeter, derav hans etternavn Armentarius (latin: , «gjeteflokk»).