生于1894年农历八月二十八日。1917年夏，胡伯岳毕业于北京法政专科学校法律科，在西安任律师。1918年参加护法战争，赴三原任靖国军总司令部秘书兼战事日报社编辑。1921年至1924年，任中学国文教员。1925年2月，加入中国国民党。1926年，任国民革命军驻陕总司令部秘书兼特别党部候补执行委员、渭南县县长。1928年，任中国国民党山西省党部党务指导委员会委员。1929年2月，任山西省党部执行委员兼常务委员。第三、四、五及临时国民党全国代表大会代表，1931年任南京“国民会议”山西代表。1933年任国民政