注于学术研究之举，乃为其惹来「走白专道路」、「反动学术权威」等指控。「破四旧」时，王氏遭抄家，所藏宋代以降线装书三万余册遭查抄，部分藏书曾被江青及康生据为己有。1968年，王氏遭赶入牛棚，被送入五七干校接受劳动改造，期间曾于咸宁负责烧开水之差役，又曾迁至丹江口看管橘子园。同时，在文革期间，境外书商频频翻印王氏着作，如《文心雕龙新书》曾为法国、香港、台湾翻印，并改署「王理器」。 1972年，王利器获准返京退休。1975年后，改离休。1976年，粉碎四人帮后，只获归还藏书约万余册，但王氏依然勤读不倦，接连交