宣州的旧相好名妓张好好，写下了着名的《张好好诗》。在洛阳期间，由于职务清闲，他四处凭吊古迹，写下了不少诗篇。开成二年（837年），由于弟弟在扬州病重，于是请假去看弟弟。由于弟弟眼疾沉重，为了照顾弟弟，杜牧辞去了官职。但是为了维持生计，他投书宣歙观察使崔郸，被召为宣州团练判官，京衔殿中侍御史，内供奉。在宣州，杜牧交友论诗，直到开成四年（839年）年底才离开宣州，去长安任左补阙、史馆修撰。
迁官外放.开成四年春，杜牧将弟弟安顿在江州堂兄处后，赴长安就任新职。至开成五年，杜牧升官