Året etter ble han innenriksminister. Fraga kom til å spille en sentral rolle i overgangsprosessen til demokrati i Spania og var sentral i utformingen av landets nye grunnlov, vedtatt i 1978. Sammen med andre medlemmer av Francos regime stiftet han det høyreorienterte partiet (AP). Fraga ble partiets første leder. Partiet var først lite, men vokste som følge av sammenbruddet i det sentrumsorienterte regjerings Unión de Centro Democrático i 1982. Med Fraga i spissen ble AP nå Spanias nest største parti, i opposisjon til sosialistpartiet. Under Fragas ledelse beholdt AP en sterkt konservativ profil.