于弟弟在扬州病重，于是请假去看弟弟。由于弟弟眼疾沉重，为了照顾弟弟，杜牧辞去了官职。但是为了维持生计，他投书宣歙观察使崔郸，被召为宣州团练判官，京衔殿中侍御史，内供奉。在宣州，杜牧交友论诗，直到开成四年（839年）年底才离开宣州，去长安任左补阙、史馆修撰。
迁官外放.开成四年春，杜牧将弟弟安顿在江州堂兄处后，赴长安就任新职。至开成五年，杜牧升官为膳部员外郎。会昌元年（841年）调任比部员外郎，二年春天，外放黄州刺史。杜牧外放的原因史书上并无记载。杜牧自己认为是宰相李德裕的排