追随董卓征战多年，深受董卓信赖。董卓入京后，牛辅拜为中郎将。189年10月，牛辅被董卓派去讨伐河东地区的白波贼郭太，但没有成功。后来关东州郡起兵讨董卓，牛辅典兵别防守于陕地，分遣校尉李傕、郭汜、张济掠陈留、颍川诸郡，并击破河南尹朱儁于中牟。董卓死后，吕布使李肃防守于陕地，欲以诏命诛杀牛辅。牛辅等逆与李肃战，李肃兵败逃去弘农，因此吕布就杀死李肃。其后牛辅军营有一些士兵半夜出逃，军营内乱，牛辅以为全部人都背叛，速速拿取金币、珠宝，与亲信攴胡赤儿等五六人相随，踰城北渡河，赤儿等人以绳索系在牛辅腰间将其从城头放