始直至十六国后赵政权建立为止，约三十年间包括郑州在内的中原一带了无宁日，农业萧条，饥荒频仍。北魏，古印度人达摩云游至嵩山少林寺面壁九年，传衣钵于慧可。此后，达摩被人尊为中国禅宗初祖，少林寺的禅宗祖庭地位也由此确立。
隋代至清代.隋朝，隋文帝“悉罢天下诸郡”，实行州、县两级制，开皇三年（583年），改荥州为郑州，此乃郑州得名之始。隋炀帝开通大运河和通济渠后，郑州一度商旅往返，船乘不绝，成为全国水陆交通的重要枢纽。大业十四年（618年），隋朝大将宇文化及杀隋炀帝，隋亡，杨侗趁机在洛阳称