Karabakh-komiteen ble etablert 19. mai 1988. Levon Ter-Petrosian ble etter kort tid de facto leder for organisasjonen. Fra 10. desember 1988 til 31. mai 1989 var han under arrest i Matrosskaja tisjina sammen med flere andre medlemmer av Karabakh-komiteen. I 1989 ble Ter-Petrosyan valgt som styremedlem i det politiske paritet Pan-armenske nasjonalbevegelsen. Senere ble han valgt som styreleder i partiet. 27. august 1989 ble han valgt som nestleder for det sovjetiske parlamentet i Sovjet-Armenia. Han ble gjenvalgt til denne stillingen 20. mai 1990. 4. august samme år ble han leder for høyesterådet i Armenia. Denne stillingen utviklet seg senere til presidentstillingen.