Al finalizar la temporada de 2003, Hirvonen fichó por el equipo Subaru World Rally Team, los cuales se habían alzado con el campeonato de pilotos de ese año gracias a la victoria de Petter Solberg, para la campaña de 2004.