Yemenska trupper, tillsammans med en styrka av lokala stammar, stöddes av Förenade Arabemiraten och amerikanska styrkor.
USA betraktar al-Qaida på Arabiska halvön (AQAP) som den farligaste flygeln i terrorgruppen.
AQAP har utnyttjat kaoset i det jemenitiska inbördeskriget för att expandera i olje- och gasrik syd.
Syftet med uppdraget var att "förstöra" AQAP: s förmågor, Pentagon talesman flottan kapten Jeff Davis sade.
Men lokalbefolkningen sade att militanterna inte kämpade emot och helt enkelt smälte bort till bergen.
Som ett resultat av detta sägs provinsens största städer vara under statlig kontroll för första gången på flera år.
De styrkor som stöder Jemens regering har enligt uppgift drivit ut al-Qaida-stridande från huvudstäderna i södra provinsen Shabwa.