兼任中共中央军委常委、秘书长，主持军委办公会议，负责军委日常工作。1980年7月，他根据邓小平关于军队要“消肿”和改革体制的指示精神，主持制定了《中央军委关于精简整编的方案》。1979–1981年，习近平任耿飚秘书。1981年3月，耿飚兼任中华人民共和国国防部部长。1982年5月任国务委员。1983年起，耿飚担任第六届全国人大常委会副委员长，兼任全国人大外事委员会主任委员。1984年，耿飚曾称中国恢复对香港的主权后不会在香港驻军，而受到邓小平斥责。后退居二线，担任中顾委常委，1988年9月，获一级红星功