Su relación con la viuda de Thrale comenzó a deteriorarse hasta romper con ella, a raíz de su boda con el cantante italiano Piozzi; desde ese momento, Johnson perderá todo patronazgo, y tendrá que vivir de sus recursos, que eran escasos.