成长为威震大西北的一代悍将。胡宗南晚年曾感慨地说：“我有两个克星，如果周恩来是我的政治克星，那么彭德怀则可以说是我胡宗南的军事克星。”连战指出，他的父亲连震东与胡宗南曾在西安相处多年。在战时干部训练团担任教官的连震东，与胡宗南更在1959年成立的国防研究院中同为第一期研究员，两家人过去交往甚密。
早年.祖籍浙江宁波镇海，3岁时随家迁孝丰（今属湖州安吉县）。青年时代曾追随斧头帮王亚樵。1920年入读南京高等师范学校（后改为国立东南大学、中央大学、南京大学）暑期学校，结识张其昀、缪