I 1990 ble han aktiv i armensk politikk og ble innvalgt i Armenias Øverste råd. Han var forsvarsminister fra 1993 til 1995, leder for Statssikkerhetstjenesten og minister for nasjonal sikkerhet fra 1995 til 1996, innenriks- og sikkerhetsminister 1996 til 1999 og minister for nasjonal sikkerhet 1999. Sargsian regnes som en nær alliert av Robert Kotsjarjan, som var president fra 1998 til 2008. Han hadde en rekke sentrale posisjoner i Kotsjarjans presidentperiode. I 1999 ble han stabssjef for presidenten, en post han hadde til 2000. Fra 1999 var han også sekretær for Det nasjonale sikkerhetsråd, som ledes av presidenten, og fra 2000 også forsvarsminister. Sargsian hadde disse posisjonene til 2007, da han ble statsminister. Fra 2006 har Sargsyan vært aktiv i Armenias republikanske parti, der han i november 2007 ble partileder.