远虑，善于统御军心，加之又深得蒋中正的宠爱，便得以在短短的十年军事生涯中，在西北迅速站稳了脚跟，成长为威震大西北的一代悍将。胡宗南晚年曾感慨地说：“我有两个克星，如果周恩来是我的政治克星，那么彭德怀则可以说是我胡宗南的军事克星。”连战指出，他的父亲连震东与胡宗南曾在西安相处多年。在战时干部训练团担任教官的连震东，与胡宗南更在1959年成立的国防研究院中同为第一期研究员，两家人过去交往甚密。
早年.祖籍浙江宁波镇海，3岁时随家迁孝丰（今属湖州安吉县）。青年时代曾追随斧头帮王亚樵。