西汉建立后,置关都尉守关。汉景帝初,爆发七国之乱,吴遣其臣应高游说胶西王曰:王幸而许之一言,则吴王率楚王略函谷关,守荥阳敖仓之粟,拒汉兵,治次舍,须大王矣。元鼎三年(公元前114年),汉武帝从杨仆言,徙故关于新安东界(今河南新安县),以故关为弘农县,治弘农郡。王莽居摄二年(公元7年),关东翟义等起兵,遣其部将武让屯守函谷关。东汉初,王霸屯函谷关,击荥阳、中牟贼,平之。王元说隗嚣曰:请以一丸泥,东封函谷关,图王不成,其弊犹足以霸。汉桓帝初平二年,校猎上林苑,遂至函谷关。延熹九年,复幸函谷关。汉灵帝光和五年,校猎上林,历函谷关,遂狩于广成苑。汉献帝初平二年,群雄起兵讨伐董卓,董卓强行将汉献帝从洛阳迁到长安时,就以函谷关坚固易于防守为理由。魏正始初,从弘农太守孟康言,移函谷关,更号大崤关,又为金关。西晋大安二年(303),八王之乱如火如荼,河间王司马颙举兵关中,使部下名将张方自函谷关,东犯洛阳。此后两千年间,地势险要的函谷关常常成为军事争夺的对象,包括唐代安史之乱,甚至抗日战争等。