El Chelsea finalizó en una respetable 3ª posición en su primera temporada disputada en la Second Division, pero Robertson no pudo continuar dirigiendo al equipo en noviembre de 1906 por disputas con los directivos, por lo que en enero de 1907 abandonó al club para poder unirse al Glossop North End.