数百少年归附瓦岗军李密。李密大喜，使他与徐世勣守黎阳。李密败亡后，徐世勣遣郭孝恪入长安归降唐朝，唐高祖封郭孝恪阳翟郡公，拜宋州（今河南商丘）刺史，下诏让郭孝恪与徐世勣经略武牢（今河南荥阳西北汜水镇）以东，所定州县，委以选补。621年，窦建德援救洛阳王世充，郭孝恪上谒秦王李世民，献计固守武牢，军临汜水，随机应变，李世民听从他的建议，取得虎牢之战的胜利。窦建德、王世充被擒获后，李世民置酒大会洛阳宫，对诸将说：“孝恪策擒贼，王长先下漕，功固在诸君右。”郭孝恪迁任上柱国。历任贝（今河北清河）、赵（今河北赵县）、