牧公事之余，常常流连青楼，牛僧孺派三十个兵卒换上便衣，暗中跟随、保护。后来杜牧追忆这段时期的生活，写诗云：“十年一觉扬州梦，赢得青楼薄倖名”。大和九年（835年），杜牧被朝廷征为监察御史，赴长安任职。牛僧孺告诉他生活要检点，并出示大量杜牧流连青楼的纪录：“某夕，杜书记过某家，无恙”、“某夕，宴某家，亦如之”。杜牧大惭，终身感念牛僧孺。八月在东都洛阳上任。因此逃过了十一月的甘露之变的险恶风波。在这里他遇到了宣州的旧相好名妓张好好，写下了着名的《张好好诗》。在洛阳期间，由于职务清闲，他四处凭吊古迹，