任职期间，他广交文士，与名声远播的从善王阮福绵审、阮文超等人相互唱和。绍治七年（1847年），高伯适在翰林院成立墨云诗社，阮咸宁、丁日慎、从善王阮福绵审、绥理王阮福绵寊等着名文人加入了这个诗社。嗣德三年（1850年），高伯适被任命为国威府（今河内市国威县）教授。嗣德七年（1854年），高伯适自负有才，屈居下位，常受到上司的欺凌，愤而辞官归乡教书。恰逢山西省发生农民起义，黎维秬被推为盟主。高伯适聚集人手，准备在河内起事响应。事泄之后，前去投奔黎维秬，被黎维秬封为国师。同年腊月，山西省副领兵黎顺奉命清剿这股