I februar 1998 gikk han av som president etter det oppsto interne konflikter i regjeringen angående Republikken Nagorno-Karabakhs status, og hva Armenia skulle gjøre med situasjonen. Ter-Petrosians nøkkelpersoner i regjeringen, da ledet av statsminister Robert Kotsjarjan, nektet å akseptere en fredsavtale for Karabakh som ble lagt frem av internasjonale meglere i september 1997. Denne avtalen, som ble akseptert av Ter-Petrosian og Aserbajdsjans regjering, ville stoppe den væpnede konflikten i området for å få mulighet til å komme til enighet om Karabakhs fremtid. Avtalen som ble kommet frem til var at de armensk-kontrollerte delene av Aserbajdsjan rundt Karabakh skulle returneres til Aserbajdsjan, i tillegg til at den aserbajdsjanske og tyrkiske blokaden av Armenia skulle fjernes.