En 1907 Speaker participó en 7 juegos con Boston, bateando para un minúsculo promedio de .158, por lo que al año siguiente fue cambiado al equipo de ligas menores "Little Rock Travelers" de la liga del sur, terminando con un promedio de .350 y siendo su contrato comprado de nuevo por los "Red Sox" donde participó en 31 juegos y de nuevo obtuvo un bajo promedio de .224 en 1908.