和国第一届全国人民代表大会常务委员会第二次会议决定设立。1955年以总参谋部军训和军校管理部、军事出版局为基础成立。训练总监部是中国人民解放军，名列当时八总部中的第二位，高于总政治部，低于总参谋部。
历史.训练总监部成立后，由刘伯承担任部长。由于刘伯承长期在南京主持军事学院工作，故由叶剑英代理训练总监部部长。在1956年开始、1957年达到高潮的军队反教条主义运动中，军事学院和训练总监部分别被指责为“教条主义的大本营”和“教条主义的司令部”，批判矛头指向时任训练总监部部长、副部