后迁监军翊军将军，兼任建宁太守，统治南中诸郡。263年，升为安南将军。同年，霍弋闻魏兵入蜀，欲赴成都，刘禅以备敌既定，不听霍弋言。霍弋闻成都失守、蜀汉亡国后，素服望西大哭三日。
交州后事.霍弋后降于魏，司马昭拜为南中都督，与巴东太守罗宪守备蜀地。霍弋兼任交州刺史，可以便宜选用官吏。霍弋后来遣兵救援吕兴，吕兴被其手下功曹杀害，霍弋表奏建宁爨谷为交趾太守，又率牙门将董元、毛炅、孟干、孟通、爨能、李松、王素等人出征，平定交趾、日南、九真三郡，封为列侯，进号崇赏。《资治通鑑》上说：