Nelle stagioni seguenti Rybakov continuò ad ottenere piazzamenti sul podio soprattutto nelle competizioni "indoor", mentre fallì i due grandi appuntamenti all'aperto, i Mondiali del 2003 e le Olimpiadi del 2004. Nel marzo 2003 fu secondo ai mondiali indoor di Birmingham con 2,33 m ed il 21 giugno vinse la gara di Coppa Europa a Firenze stabilendo anche il suo record personale con 2,34 m. Due mesi dopo si presentò come uno dei favoriti ai Mondiali di Parigi, ma in gara si fermò alla quota di 2,25 m, concludendo al nono posto. Nel 2004 fu secondo ai mondiali indoor di Budapest con 2,34 m; con la stessa misura alle Olimpiadi di Atene finì lontano dal podio, al sesto posto.