此庙内建立台北国语传习所桃仔园分教场（今桃园国小）。人们在此建立名为「桃园文库」的书库，供民众阅览，成为桃园市立图书馆的前身 。1909年，日本政府将庙宇旁土地规画为公园，并以此庙作为命名依据，取为「文昌公园」，乃桃园区第1座公园。今属桃园区文昌里。皇民化运动时，此庙收容寿山巖观音寺的观音像，后来战后却被焚。1965年10月5日，地方人士于桃园镇中山堂举行修建会议，公推吴文全为筹备会主委，以整修桃园孔子庙的名义整修此庙，估计募款新台币三十万到五十万元修建。翌年1月9日晚举行兴工典礼，由前县议会议长吴文全