《台湾府志》记载此庙曾有一位艺僧作住持，写：「释莲芳，号藕船，住持三官堂，好吟诗，工书画，究医术，所着有《浣花吟集》。」
日治时期.进入日治时期后，三官庙年久失修，庙貌全非。1903年，台南天足会于此庙设立会本部，反对台湾女性缠足。1909年，潘丽水父亲潘春源在此庙的对面开设名为「春源画室」的裱画店，起初裱画、卖宗教画、制作祖宗肖像。后来画室搬到海安路，其后裔潘岳雄曾帮此庙作彩绘。1915年调查，庙址为五帝庙街丙163番地；1920到1945年调查，地址为白金町一丁目13