幕末の安政年間(1855年-1860年)以降、当寺は西洋人用の宿舎に割り当てられた。