四川梓潼迎回文昌帝君供奉，并树立周敦颐、程颢、程颐、张载、朱熹五夫子牌位，以及仓颉夫子神位。道光二年（1822年），官员邱竣南创立考棚，作为每年四月童生考试之所。道光五年（1825年）通判吕志恒以东厢作为仰山书院使用，并于临街处建一门楼，地方名人如杨士芳、李望洋等均曾任书院山长。道光二十五年（1845年）通判朱材哲倡捐改建为左、右二殿，左奉文昌、右奉关帝。咸丰元年（1851年）居民拓建外墙、山门等。
日治时期.初期，仰山书院曾被移作警察署与警察官吏宿舍使用，原本书院右侧的厢房整