建安17年（212年）、劉備の入蜀に際し、霍峻は広漢郡の葭萌城の守備を命じられた。この時、張魯配下の楊帛から寝返りの誘いがあったが、これを断ったという。その後、劉璋軍の扶禁・向存ら一万余の軍勢に城を包囲されたが、1年に亘り守り通した。そして数百の軍勢の中から精鋭を選抜し、城外へ出撃して扶禁・向存を破り、向存を斬った。この功績により建安22年（217年）、梓潼太守兼裨将軍に任じられた。