行中西方为金方，故得名金水河。中华民国统治时期，金水区辖区属郑县管辖。1948年10月中国人民解放军接管郑州，并分设郑州市与郑县，辖区的城区部分属郑州市，郊区及农村部分则属郑县。1953年，郑县建制撤销，并入郑州市，辖区的城区部分分归当时的陇海区、二七区和建设区，其他部分属于原郑县改为的郊区。同时，为迎接河南省会由开封迁往郑州，在辖区东部开始大兴土木，进行基础建设，时称“省府工地”，后来被称作“行政区”，辖区北部则相继建成数十所大中专院校和科研院所，被称为“文化区”。1960年4月，金水人民公社正