曾和潘恭、何燕铭、郭慕岳共同游览尧山石窟，见到石窟被严重破坏。回到隆尧一中后，康殷随即就尧山石窟的保护问题写了一封信《呈周总理座前》，托潘恭回到北京时投进了信筒，但没有回音。这批人自隆尧一中散伙后，康殷被分配到平乡县，潘恭被分配到威县，郭慕岳被分到临西县。由于工资被取消，只能靠工分生活，故他们均极度贫困。自1970年到1978年底，他们一直这样生活。其间，1970年代中期，康殷将所着《古文字发微》自己油印了二十册。1979年，经过落实政策，康殷、潘恭、郭慕岳均回到北京。康殷仍住在香山煤场路12号的两