Ouyahia sluttet seg til Utenriksdepartementet i 1979 og ble tildelt den afrikanske Affairs Department. I 1980 ble han sendt som rådgiver for utenrikssaker til ambassadør i Algerie i Elfenbenskysten, hvor han tjenestegjorde frem til 1982. Han ledet det afrikanske institutt frem til 1991, da han ble sendt som Algeries ambassadør i Mali fra 1992 til 1993. Der hjalp han i 1992 med å forhandle frem en fredsavtale i det maliske Tuareg-opprøret mellom den stridende maliske regjeringen Alpha Oumar Konaré og Azawad Tuareg-bevegelsen. I april 1994 ble han utnevnt som statsråd og direktør av president Liamine Zéroual.