命为国民革命军总司令部直属补充第七团团长。后调任国民革命军第十一师六十一团团长。当时，身为十一师副师长的陈诚欲拉拢关等人反对师长曹万顺，遭到关的反对，自此两人结怨。1928年9月，关升任第十一师步兵三十二旅旅长，次年又任新编第五师副师长。1930年中原大战期间，关任整编后的中央第二教导师一旅一团团长，在张治中麾下参战，因立有战功，升任该师第二旅旅长。次年，关任第四师十一旅旅长，在河北参与对石友三的围剿。1932年，关部被调往鄂豫皖苏区，参加对中国工农红军的第四次围剿，与邝继勋、陈赓等展开连番激战。红四方