含兴建曹公圳等政绩，凤山县民遂于凤仪书院东侧建祠，于其九月二十六诞辰时召戏班演戏、祭祀，此外并捐有「正德厚生」匾额于祠内。进入台湾日治时期后，由于凤仪书院成为卫戍医院分院，一般人无法进出，所以曹公祠因而倾圮。直到明治三十三年（1900年）台湾总督儿玉源太郎出巡凤山时因感佩曹谨功绩，应凤山耆老的请求，遂捐金500日圆，号召地方人士集资重修凤仪书院内的曹公祠(今存门额)，并恢复曹公祠的祭祀。。十年之后曹公水利组合重建曹公祠于明治四十四年（1911年）8月10日完工，是由台南厅土木系所设计，11月1日举行落成