Som statssekretær deltok Treholt i fremforhandlingen av den omstridte Gråsoneavtalen. Det har blitt hevdet at Treholt fremmet sovjetiske interesser under disse forhandlingene. Sigurd Allern mente i : . Også Kåre Willoch mener avtalen var sterkt skadelig for Norge og at hele det politiske miljøet var sjokkert over den. Treholt ble ikke tiltalt for spionasje for sin rolle under Gråsoneforhandlingene, men i et intervju med Danmarks Radio i 1990 innrømmet han at han hadde latt en representant for KGB få se de norske møteprotokollene.