分为芒、砀二县，分属于梁国和沛郡。梁孝王刘武曾在芒砀山左右建设包括落猿岩、栖龙岫、鹤州、雁池、凫岛等风景的东苑。之后在东汉时，芒县又改称临睢县。在东汉末年，曹操曾为了补贴军费开支而设立「摸金校尉」以及「发丘中郎将」，专门盗取和发掘永城芒砀山山上的汉梁王墓群72船宝物。罗贯中在《三国演义》第二十八回创作过名为「斩蔡阳兄弟释疑 会古城主臣聚义」的故事，其中描述了刘备、张飞等人曾与曹操争夺徐州。张飞败走后据守芒砀山，并筑寨称王。不过当中的真伪未有定论； 在另一部小说《水浒传》中，芒砀山是道士出身的山贼樊瑞伙同