Sein großer Widersacher sollte jedoch der Schwede Stefan Holm werden, der in München Dritter geworden war und zu Beginn der folgenden Saison bei den Hallenweltmeisterschaften 2003 in Birmingham Rybakow, der dort Silber gewann, zum ersten Mal schlug. Nur noch selten konnte Rybakow Holm besiegen, so beim IAAF World Athletics Final 2003 in Monte Carlo, wo er jedoch nur aufgrund der geringeren Anzahl an Fehlversuchen gewann.