出身江苏望族，外公与父亲因得罪地方军阀，一家被杀。一名士官拯救了母亲、他、与其姐姐，而后该士官成为胡鹏飞的继父。幼年随继父于上海经商，从小爱在黄浦江畔看吊车作业，也时常随父到苏州、昆山、常熟、无钖等地出差。1947年，年仅十五岁，被迫加入中华民国空军工兵，在南京机场工作。1948年调动到台湾，也因为第二次国共内战中中国国民党所领导的中华民国政府惨败，从此定居台湾，在军中，他辛苦锻鍊中国武术，擅长猴拳、五形拳，并时常为弟兄打抱不平，1950年以空军联队工兵中士副班长身分，曾举报长官贪污，亲自上访，并获得蒋