瓦岗军首领翟让任东都法曹时，因坐事当斩，黄君汉时为狱吏，见其骁勇，暗中将他放走，翟让遂亡命于瓦岗，成为瓦岗军首领。隋末农民起事，在李密成为瓦岗军的首领后，黄君汉率众归附，被授上柱国、河内总管，封为汾阴公，据守在柏崖城（今在河南孟津县，临黄河）。唐武德元年（618年），王世充击破李密，李密西逃长安，投奔李渊。黄君汉在崔义玄的游说下，也归附李渊，黄君汉被授上柱国、使持节、总管怀州诸军事、怀州剌史，封东郡开国公，食邑三千户，崔义玄为怀州司马。仍旧驻守柏崖。
洛阳、虎牢之战.武德三