Sargsian ledet de armenske militære gruppene som ble dannet i Nagorno-Karabakh i prosessen der Sovjetunionen brøt sammen og de enkelte sovjetrepublikkene søkte selvstendighet og da det armensk befolkede Nagorno-Karabakh, som tilhørte Aserbajdsjan, gjorde opprør for tilslutning til Armenia. Sargsian ledet fra 1989 til 1993 Komiteen for Republikken Nagorno-Karabakhs selvforsvarsstyrker.