Bei den Hallenweltmeisterschaften 2004 in Lissabon kam dann Rybakow wieder auf den Silberrang hinter Holm, und bei den Olympischen Spielen 2004 in Athen landete Rybakow mit 2,32 m auf dem sechsten Platz.