唐代诗人李白的《丁都护歌》写道：「云阳上征去，两岸饶商贾。 吴牛喘月时，拖船一何苦。 水浊不可饮，壶浆半成土。 一唱督护歌，心摧泪如雨。 万人系盘石，无由达江浒。 君看石芒砀，掩泪悲千古。」所记述的是唐朝皇室征召百姓到芒砀山上建宫室。另外，明代末年流寇李自成亦佔据过芒砀山抗衡明军。在1935年至1945年，抗日战争爆发。不少人民以芒砀山为防空洞避难。结果，多人死亡，连抗日运动烈士鲁雨亭亦在此殉难。于1980年代，由于採石爆破工程不断进行，芒砀山群的大部分山体已被严重破坏。至1995年春天，芒砀山发生了一宗