出土的石器及穴居房屋等考证，远在新石器时代，先民就在这里定居。随着人类生产劳动的发展，上贤人逐渐向文汾流域迁移并定居，在这个时期，畜牧业逐渐发展，由原始群进入了氏族社会。隋，开皇十年（590年）始名为文水县。唐，武德三年（620年）隶汾州，六年属并州，七年复属汾州。贞观元年（627年）属太原郡。天授元年（690年）武则天称帝，改唐为周，因文水县是其故里，改名武兴县。神龙元年（704年）中宗复位，复原名文水县。宋，元符年间因避水患，将城迁于章多里之南，即后来的文水城，仍属太原郡。金、元时属太原