Etter å ha kommet tilbake til Tunisia ble han i 1964 utpekt til å opprette et militært sikkerhetsdepartement; han ledet dette til 1974. I 1977 ble han generaldirektør for nasjonal sikkerhet etter en periode som militærattache i Marokko. Det neste oppdraget var som ambassadør til Polen, etterfulgt av embetet som sjef for den nasjonale sikkerhetstjenesten og statssekretær. Han fikk denne jobben på et tidspunkt hvor radikale islamister økte sin aktivitet. Hans suksess i håndteringen av dette problemet førte til at han ble innenriksminister, en stilling han hadde inntil president Habib Bourguiba utnevnte ham til statsminister i oktober 1987.