文化工作会等单位，势力横跨『党』、『政』、『军』、『特』，伸入台湾警备总司令部、国家安全局、法务部调查局。此时王昇权势达到顶点，「王昇接班」的说法不胫而走，刘少康办公室甚至被称为「太上中常会」、中国国民党「中央党部的中央党部」。1983年5月，总统蒋经国以王昇「不知节制」为由，下令裁撤刘少康办公室，免除王昇总政治作战部主任一职，任调国防部三军联合作战训练部主任；同年10月，王昇出任驻巴拉圭大使，离开权力核心。