令部带走，辗转搬迁十次，最后关进粤北乐昌监狱。他在狱中经受磨难，但仍坚持读《毛泽东选集》以及《资本论》。李尔重的妻子宋晓非成了“黑婆”，带着最小的孩子接受批斗，三个大些的孩子被下放海南岛劳动。直到1972年4月底，李尔重才从监狱放出，到位于连山县上草的五七干校劳动，该干校是为原中共中央中南局干部设立。1972年12月重新回到工作岗位。第四次是河北争论。文革结束后，河北省的形势异常复杂，两派斗争严重。文革期间，林彪、江青反革命集团一些重要成员曾直接插手河北，“左”的影响严重。中共十一届三中全会后，中央的重