Pod koniec lat 80. związał się z lokalnym ruchem ormiańskim, którego celem było wyłączenie Karabachu z granic Azerbejdżańskiej SRR i zjednoczenie z Armenią. Był bliskim współpracownikiem jednego z przywódców ruchu – Roberta Koczariana. Na przełomie lat 80. i 90. nastąpiła eskalacja konfliktu między Ormianami i Azerami w Górskim Karabachu. Sarkisjan stał w latach 1989–1993 na czele Komitetu Sił Samoobrony Górskiego Karabachu. W 1990 został wybrany do Rady Najwyższej Armenii, a w 1991 do Rady Najwyższej Republiki Górskiego Karabachu. W latach 1992–1993 pełnił obowiązki ministra obrony republiki karabachskiej. Na czele władz Karabachu stał w tym samym czasie Robert Koczarian. Kierowane przez Sarkisjana siły zbrojne odniosły wówczas szereg sukcesów militarnych w zmaganiach z wojskiem Azerbejdżanu.