Rond 1995 wist hij als onderhandelaar een kortdurende wapenstilstand in Tsjetsjenië tot stand te brengen. Nadat Kovaljov scherpe kritiek had geuit op misstanden in het Russische leger tijdens de Eerste Tsjetsjeense Oorlog, werd hij, met 240 tegen 75 stemmen, weggestemd als voorzitter van de parlementaire mensenrechtencommissie. In hetzelfde jaar trad hij, uit protest tegen de Tsjetsjeniëpolitiek, uit het kabinet van Jeltsin en beschuldigde hij de president verantwoordelijk te zijn voor de escalatie van het conflict.