五夫子牌位，以及仓颉夫子神位。道光二年（1822年），官员邱竣南创立考棚，作为每年四月童生考试之所。道光五年（1825年）通判吕志恒以东厢作为仰山书院使用，并于临街处建一门楼，地方名人如杨士芳、李望洋等均曾任书院山长。道光二十五年（1845年）通判朱材哲倡捐改建为左、右二殿，左奉文昌、右奉关帝。咸丰元年（1851年）居民拓建外墙、山门等。
日治时期.初期，仰山书院曾被移作警察署与警察官吏宿舍使用，原本书院右侧的厢房整个被拆毁，改建为日式宿舍。1905年，两个主殿与五夫子祠都作为