白居易的母亲虽因看花坠井去世,然而白居易早有许多咏花之作,而依宋代的纪录,新井诗作于元和元年左右(新井诗今已失传),可见此事不能构成罪名。他被贬谪的主因,很可能与他写讽谕作品而得罪当权者有关。贬谪江州是白居易一生的转折点:在此之前他以“兼济”为志,希望能做对国家人民有益的贡献;至此之后他的行事渐渐转向“独善其身”,虽仍有关怀人民的心,表现出的行动却已无过去的火花了。然而白居易在江州虽不得志,大体上仍能恬然自处,曾在庐山香炉峰北建草堂,并与当地的僧人交游。820年冬,转任主客郎中、知制诰。821年,加朝散大夫,始正式著五品绯色朝服,(绯色即朱色,为五品以上官员所用的服色)。转上柱国,又转中书舍人。822年,白居易上书论当时河北的军事,不被采用,于是请求到外地任职,7月被任命为杭州刺史,10月到任。任内有修筑西湖堤防、疏浚六井等政绩。824年5月,任太子左庶子分司东都,秋天至洛阳,在洛阳履道里购宅。825年,被任命为苏州刺史,5月到任。826年因病去职,后与刘禹锡相伴游览于扬州、楚州一带。