远在新石器时代就有人聚居。数千年来，隶属多变。相传春秋时期鲁哀公西取狩猎，获一麒麟，取嘉美祥瑞之意，而得“嘉祥”之名。嘉祥是古代儒家四圣（孔子、孟子、曾子、颜子）之一曾子的故里。曾子弟子乐正子春、公明仪、公明宣、沈犹行、阳明夫、子襄等也是嘉祥人。西周时属兖州，春秋时属鲁国南武城，战国时属齐国，秦朝时属薛郡爱戚县。到三国（魏）时属兖州山阳郡巨野县。公元265年（西晋泰始元年）属兖州高平国巨野县。公元395年（东晋天平元年）分属兖州高平郡巨野县和兖州任城郡任城县。公元612年（隋大业八年）分属兖