的张祜因同感怀才不遇，成为知己。二人做了一些互相赠答酬和的诗，成为晚唐诗坛的一段佳话。当时诗人郑谷作诗说：“张生故国三千里，知者惟应杜紫微。”会昌六年（846年），杜牧迁睦州刺史。他每一次迁官，离家乡长安越来越远，让杜牧思乡情切。大中二年，吏部尚书高元裕写来一封书信慰问，令杜牧非常感激。但是高元裕不久出任山南东道节度使，没有来得及援引杜牧。同年八月，杜牧终于接到新的任命，被升为司勋员外郎、史馆修撰。杜牧以喜悦的心情赴长安就任。但经过多年官场历练，杜牧的刚阳之气已经消退。他动身时，写了一首《除官归京睦州雨