Bei der Skiflug-Weltmeisterschaft 2004 in Planica flog Rutkowski auf den 28. Platz und erreichte mit dem Team Rang acht. Danach startete er erstmals wieder im Continental Cup. Nachdem er hier in Kuopio nicht überzeugen konnte, blieb er auch beim Weltcup in Lahti ohne Chance. Am Ende der Saison erreichte er Rang 58 der Weltcup-Gesamtwertung. Beim Skisprung-Grand-Prix 2004 im Sommer konnte er nur durchwachsene Einzelleistungen erreichen, schaffte aber in Hinterzarten mit der Mannschaft im Teamspringen als Dritter den Sprung aufs Podest.