Han ble svært populær i Karabakh-bevegelsen som jobbet for å samle Nagorno-Karabakh med Armenia i slutten av 1980-tallet og han ledet armenske frivillige grupper i sammenstøt med aserbajdsjanske styrker. Etter at han ble utnevnt til forsvarsminister av president Levon Ter-Petrosyan like etter at Armenia ble uavhengig fra Sovjetunionen i slutten av 1991, ble Sargsian den mest fremtredende sjefen for de armenske styrker i Nagorno-Karabakh-krigen. Han styrte de militære operasjonene i krigen frem til 1994, da en våpenhvile ble oppnådd og krigen endte med at Republikken Nagorno-Karabakh ble en del av Armenia.