Etter at han ble ferdig på skolen begynte Sax å eksperimentere med nye instrumenter. Hans første oppfinnelse, omkring 1840, var en forbedring av bassklarinetten, kalt , en tidlig variant av kontrabassklarinetten. I 1841 flyttet han til Paris og begynte å jobbe på nye instrumenter, som ble vist frem der i 1844. Selv om Sax ikke hadde funnet opp disse instrumentene selv, var de så overlegne i forhold til konkurrentenes at de ble kjent som «saxhorn».