去职后，吕大森迁居上海。1913年二次革命时，他在上海参加讨袁，被江苏都督程德全逮捕入狱。1916年袁世凯去世后，吕大森方获释。1920年，吕大森在建始县被靖国军以“通北”的嫌疑逮捕入狱，不久获得保释回家守服。1922年，他因在武汉参加驱逐湖北督军王占元而被捕入狱，关在武昌。王占元去职后，吕大森方获释。1927年，他去安庆养病时，曾写下《放歌行》一诗。1930年，他到杭州投靠出任浙江省主席的张难先，希望求得职务。但张难先一时没有给他安排职务，他整日在旅社，十分不满，曾给张难先写下一首七律：有一天，