I 1904 gjorde Jeffries sitt siste forsvar av tittelen til en i utgangspunktet uverdig bokser, ved navn Jack Munroe. Munroe hadde skapt et navn ved å slå ned mesteren i en sparringsøkt året før. I kamp holdt han kun halvannen runde knockout, og Jeffries vant med det sin siste offisielle kamp.