斩蔡阳兄弟释疑 会古城主臣聚义」的故事，其中描述了刘备、张飞等人曾与曹操争夺徐州。张飞败走后据守芒砀山，并筑寨称王。不过当中的真伪未有定论； 在另一部小说《水浒传》中，芒砀山是道士出身的山贼樊瑞伙同项充、李衮等人盘据的根据地，后樊瑞比拚道术败于梁山泊的公孙胜，被梁山势力收编。此后，芒砀山被历代的一些将领用作兴建宫室或据点。例如唐代诗人李白的《丁都护歌》写道：「云阳上征去，两岸饶商贾。 吴牛喘月时，拖船一何苦。 水浊不可饮，壶浆半成土。 一唱督护歌，心摧泪如雨。 万人系盘石，无由达江浒。 君看石芒砀，掩泪