1488年），庐州知府将原来岛上的小庙拆除，改建为“包公书院”，并称小岛为“香花墩”。1539年，御史杨瞻将其改名为“包公祠”。太平天国运动中，包公祠毁坏，光绪八年（1882年），李鸿章筹白银2800两加以重建，并且增加两院。李鸿章的哥哥，湖广总督李瀚章，在享堂挂上了“色正芒寒”的横匾，李鸿章又写了《重修包孝肃公祠记》刻在祠堂后的石头上。20世纪初战火不断，包公祠失修。包河河床淤塞，南岸变成了墓地。中华人民共和国成立后合肥市政府规划在包河附近修建公园，1954年成立了包河公园修建委员会。此后移走了墓