家境出生于较富裕的农家，毕业于湖南省立第三中学。1924年被举荐考入黄埔军校步兵科，为该校第一期毕业学生。黄埔军校毕业后，编入教导第一团砲兵营排长，在国民革命军东征之际，1925年10月升任国民革命军总司令部炮兵团所属砲兵连连长，后续晋升营长。国民革命军北伐战争中，在1926年6月调任国民革命军第一军补充第1师第3团少校团附，第3团团团长为陈诚，霍揆彰后续的军旅职务中一直都有陈诚提携的背景，因此在当时的军界中认为霍揆彰属于陈诚嫡系。补充第1师在1926年11月18日改组为国民革命军第21师，第3团更