Margarjan ble medlem av Det nasjonale enhetspartiet i 1968. Dette partiet ble forbudt i Sovjetunionen. Margarjan gikk inn for et uavhengig, demokratisk Armenia. Han ble i 1974 og dømt til to års fengsel «for å spre upatriotiske ideer og aktiviteter». Da Armenia ble selvstendig, ble Margarjan med i Armenias republikanske parti i 1992. Han ble valgt til formann i partiet fra 1993. President Robert Kotsjarjan utnevnte ham til statsminister 12. mai 2000.