Pasados los seis meses del destierro, regresó Cadalso a Madrid, donde entre 1770 y 1772 vivió su apasionada relación amorosa con la actriz María Ignacia Ibáñez, que ha dado lugar a toda una leyenda de marcado sabor romántico con la muerte de ella por fiebres tifoideas con apenas veinticinco años, el 22 de abril de 1771, y un Cadalso desesperado ante tan repentina muerte que intentó desenterrar a su amada para darle el último adiós (episodio que quedó narrado en su obra "Noches lúgubres").