Za první čečenské války odjel v červnu 1995 spolu s dalším poslancem Sergejem Kovaljovem vyjednávat s čečenským velitelem Šamilem Basajevem, jehož muži zadržovali stovky rukojmí v nemocnici v Buďonnovsku. Trojnásobný otec Rybakov se nechal vzít jako rukojmí výměnou za propuštění matek s novorozenými dětmi. Snaha elitních ruských protiteroristických oddílů o obsazení nemocnice byla neúspěšná. Rybakov posléze nemocnici opustil jako jeden z rukojmích, kteří odjížděli s komandem Basajevových mužů v autobusovém konvoji do Čečenska. Za čečenskou hranicí separatisté z autobusů vystoupili. Rukojmí ponechali na místě; zpátky na hranici je dopravily ruské jednotky.