，文化大革命爆发。罗应荣作为“右派分子”，迅速成为专政对象，失去人身自由，无法再进城看杨德平。但词典没编完，一些工作尚需向杨德平交代。罗应荣写下一张字条，讲述了自己的处境和近况，想交给一位曾跟他学英文的中学生转交杨德平。在递交字条时，被中山大学历史系的红卫兵学生看见，迫令罗应荣交出字条。罗应荣情急之下把字条放入口内想吞下。红卫兵为夺字条，与罗应荣发生推搡。结果罗应荣被控“殴打红卫兵”。1966年底，罗应荣被广东省军管会以“反革命罪”判处有期徒刑5年。此后被送往花县赤泥镇采石场劳改，和刑事犯关在一处。19