Cuando Napoleón comenzó su avance hacia Madrid, la insistencia personal de Frere de que "sir" John Moore, en aquel momento todavía en el norte del país, también avanzara sobre la capital –en lugar de retirarse a Galicia o a Portugal– y las consecuencias desastrosas de la consiguiente retirada, resultaron en que la opinión pública inglesa le acusara a Frere de poner en peligro al Ejército Británico y fue destituido y sustituido por Richard Wellesley, marqués Wellesley, hermano del futuro duque de Wellington, que en diciembre de 1809 pasaría a dirigir el Foreign Office, siendo reemplazado en España por su hermano Henry, quien permanecería en el cargo hasta 1821.