宋国期间，恰好经过芒砀山避雨。秦代初秦始皇置砀县，又置砀郡。这是秦朝实施的郡县制度三十六郡的其中一郡。后来到了秦朝末年，汉高祖刘邦斩白蛇起义。而陈胜起义之后却被车夫庄贾杀害，被埋葬于芒砀山主峰南侧山脚下。现在该处存有陈胜的墓冢跟郭沫若手书的石碑。但砀县在西汉时期被分为芒、砀二县，分属于梁国和沛郡。梁孝王刘武曾在芒砀山左右建设包括落猿岩、栖龙岫、鹤州、雁池、凫岛等风景的东苑。之后在东汉时，芒县又改称临睢县。在东汉末年，曹操曾为了补贴军费开支而设立「摸金校尉」以及「发丘中郎将」，专门盗取和发掘永城芒砀山山上