命为中国驻瑞典大使，同年9月正式到任，又兼任驻丹麦、芬兰公使，成为中华人民共和国向西方国家派出的第一位大使，与姬鹏飞、黄镇、韩念龙、袁仲贤等人并称“将军大使”。1956年3月，调任中国驻巴基斯坦大使。1959年3月，回国担任外交部副部长，主持同阿富汗、尼泊尔、巴基斯坦、缅甸勘定边界。1963年9月，调任中国驻缅甸大使。文化大革命爆发后，耿飚被批判，关入牛棚。1968年10月恢复工作，次年4月当选中共第九届中央委员。1969年5月，任中国驻阿尔巴尼亚大使。1971年，耿飚奉调回国，担任中共中央对外联络部部长，