沈受谦遂于光绪十二年（1886年）于今赤崁楼西侧购地设置蓬壶书院。日治时期曾被当作卫戍医院使用，战后失修，而只留门屋。门屋面宽三开间，中间内凹以强化入口意象，并悬有沈受谦所题之「蓬壶书院」匾。其墙面为斗砌砖墙，而屋顶则为燕尾形式。此外门屋建筑被纳入赤崁楼的古蹟保护范围内。