衡是隋朝的万年县令。高季辅年少时就学习文学和武艺，为母服丧时以孝闻名。他的哥哥高元道是汲县（今河南新乡市）县令，618年隋炀帝死后，隋朝崩溃，汲县人造反，高元道被杀。高季辅带领哥哥的部下，手刃杀兄的凶手，斩首以祭其兄之墓。之后他也参加了农民起义。不久他和李密的部下武陟人李育德（两唐书作其兄李厚德）一起投降了唐朝。唐高祖授高季辅为陟州（今河南焦作市）总管府户曹参军。唐太宗继位后，授高季辅为监察御史，弹劾有错误的大臣，不畏权贵。之后转任中书舍人，贞观八年（634年），太宗召近臣，令评价时政得失。高季辅上封事