晋泰始二年（226年），分河南郡置荥阳郡，辖荥阳、京、密、苑陵、中牟、卷、开封、阳武等8县。巩县、成皋二县属河南郡。北魏泰常五年（420年）置北豫州，治武牢。宋元嘉七年（430年）北豫州自虎牢移治荥阳，改筑荥阳城。迁荥阳县治于大索城（即今荥阳市治）。太平真君八年（447年）中牟县划入阳武县，景明元年（500年）又恢复中牟县。东魏天平元年（534年）析荥阳郡分置广武、荥阳、成皋郡，广武郡治中牟县。北周建德六年（577年）北豫州改为荥州，废成皋郡。
隋唐.隋开皇元年（581年），改荥