初，始居盩厔，家富于财。何潘仁家富，喜欢招纳宾客。在隋炀帝时代，因其胡人身份，郁郁不得志。后因犯法，逃亡至司竹园（今周至县司竹镇，古为司竹园地，是中国最早的、历时最长的国家竹林场）中，鸠集亡命之徒，众至数万，自称总管。大业末年，前尚书右丞李纲被右仆射苏威陷害罢职，在鄠县隐居。何潘仁胁迫李纲为义军长史，向长安以西城邑进行攻略。617年五月，李渊在太原起兵，其第三女平阳公主在鄠县庄所散发财物，招引山中亡命，得数百人，起兵以响应李渊。平阳公主派遣家僮马三宝向司竹园的何潘仁义军游说，得到其支持。而平阳的族叔