夏会于戚...，遂城虎牢”。在春秋故事「郑伯克段于鄢」中，郑庄公的母亲武姜起初为小儿子公子段而向郑庄公请求赐予一座城池名「制」。郑庄公因该地险要，不答应将此地给公子段，故事中的「制」即是此地。此处亦曾发生过无数经典战斗，小说《三国演义》中三英战吕布和关羽温酒斩华雄为人所津津乐道（三国演义把虎牢关和汜水关误作两关，历史上并未有三英战吕布，斩华雄的是孙坚，史实亦无虎牢关之战）。前秦灭前燕之战因虎牢关割地而起。另外在隋末唐初的虎牢之战中，李世民也在此打败窦建德，迫使王世充投降，为建立唐朝打好基础。现时主要