Allí se encontró también al pintor Frederic Leighton y a la cantante de ópera Adelaide Kemble Sartoris, y juntos celebraron inolvidables veladas; pero su mujer Isabel fue a sacarlo de allí, marchándose ambos esposos a los Alpes franceses y a Turín, y luego hacia Damasco; allí pasó dos años terribles, sobre todo para Isabel, que encontró aquel lugar siete veces más inhóspito que Brasil; amistaron sin embargo con Jane Digby y con Abd al-Qádir, un líder político argelino exiliado; intentó mantener la paz entre las tres religiones; sin embargo hizo muchos enemigos entre los mercaderes judíos del lugar, cuyos negocios obstaculizó; fue destituido como cónsul y lo sustituyó Thomas Jago, retornando descorazonado a Londres sin ni siquiera intentar defenderse, hasta que su mujer Isabel emprendió la causa de su rehabilitación visitando a sus enemigos y a las esposas de sus enemigos; y le fue bastante fácil: numerosas personas eran propicias a testificar y escribir cartas en elogio suyo y de su honradez y rectitud; es más, muchos comerciantes musulmanes (no así los judíos) lo creían responsable de la caída del odiado Rashid Pachá y pidieron su regreso; incluso los misioneros protestantes y la misma prensa cambió de opinión; lord Granville le ofreció el consulado de Pará al norte de Brasil, que rechazó al ser un puesto de inferior categoría, y cuando le dieron a otra persona el puesto de Teherán, se lo tomó como ofensa.