Sax ble født i Dinant i Belgia. Hans far, Charles Joseph Sax, var også instrumentmaker. Adolphe begynte å lage sine egne instrumenter i veldig ung alder.