Im Oktober 1996 ernannte Jelzin Rybkin zum Sekretär des Sicherheitsrates der Russischen Föderation und Sonderbeauftragten für Tschetschenien, worauf Rybkin sein Dumamandat niederlegte. Er löste Alexander Lebed in diesen Ämtern ab. Unter Rybkin kam es im ersten Tschetschenienkrieg 1997 zum Friedensvertrag, der am 12. Mai 1997 von Boris Jelzin und dem tschetschenischen Präsidenten Aslan Maschadow in Moskau unterzeichnet wurde. Rybkow wurde bei den Verhandlungen mit leiser Diplomatie seinem Spitznamen „Genosse Konsens“ gerecht (Spiegel, 16. Februar 2004). Im Oktober 1997 löste Alexandr Wlassow Rybkin als Sonderbeauftragten für Tschetschenien ab, im März 1998 löste ihn Andrej Kokoschin als Sekretär des Sicherheitsrates ab. 1998 war Rybkin bis zum 23. März stellvertretender Ministerpräsident für Fragen der Gemeinschaft Unabhängiger Staaten, bis er von Ministerpräsident Tschernomyrdin entlassen wurde. Nachfolgenden Kabinetten gehörte Rybkin nicht mehr an.