Pavey osallistui 2003 Lausannen maastojuoksun MM-kisoihin sijoittuen lyhyellä matkalla neljänneksikymmenenneksi. Samana vuonna hän juoksi Eurooppa-cupissa toiseksi 5 000 metrillä ja Pariisin MM-kisoissa kymmenenneksi 1 500 metrillä. Kauden lopuksi hän oli 1 500 metrillä neljäs ajalla 4.01,79 ja 3 000 metrillä kolmas ajalla 8.37,89. 2004 Pavey sijoittui Budapestin sisäratojen MM-kisoissa 3 000 metrillä viidenneksi ja voitti EM-pronssia maastojuoksun EM-kisoissa pitkällä matkalla. Ateenan olympialaisissa hän karsiutui 1 500 metrillä alkuerissä ja sijoittui 5 000 metrillä viidenneksi ajalla 14.57,87. hän sijoittui 3 000 metrillä neljänneksi. 2005 hän keskeytti loppukilpailun sisäratojen EM-kisoissa 3 000 metrillä ja sijoittui Helsingin MM-kisoissa 5 000 metrillä viidenneksitoista. 2006 Kansainyhteisön kisoissa hän sijoittui 5 000 metrillä toiseksi ja Euroopan cupin superliigassa 3 000 metrillä ensimmäiseksi. Göteborgin EM-kilpailuissa hän sijoittui 5 000 metrin juoksussa neljänneksi. Maastojuoksun EM-kilpailuissa hän oli kahdeksan kilometrin matkalla kahdeksas.