此后6年多时间里，向守志在批斗、游街、隔离、劳动改造中度过。他的亲人无一幸免。他和妻子张玲4年半不准通信。1969年底，林彪发出“林副主席指示第一号令”，以战备为由，命令所有在北京的军队高级干部及家属全部撤离北京。张玲和80岁的老母亲及4个子女不得不到四川省开县（今属重庆市）毕山农村向守志的外甥家“投亲靠友”，向守志则先后辗转天津、郑州、叶县等五个农场从事养猪、种菜等劳动。直到林彪在九一三事件垮台后的1972年初，向守志才获得恢复党籍、补发工资的通知，并带着家人回到北京。 1974年11月的一天，中央军