于隔年孟夏落成，因为澎湖盛产文石，便用此来为书院命名，首任院长由胡建伟兼任。之后在嘉庆四年（1799年）时，通判韩蜚声重修，并于后院建魁星楼；道光九年（1829年）春，通判蒋镛与副将孙得发捐俸倡修，同时将魁星楼移建到今址。同治十二年（1873年）名儒林豪将魁星楼命名为「登瀛楼」，该楼后于光绪元年（1875年）在董事蔡玉成邀集下修建，隔年冬天落成，当时山长施槃为此着有〈登瀛楼落成记〉。然而后来书院因光绪十一年（1885年）的中法战争而受到战火破坏。1895年3月，日军佔领澎湖后，一度将书院作为野战医院