随父母到台湾。父亲是安徽阜阳人，自幼被送到庙中习武。父亲有一次被国军士兵们欺负，在冲突中将对方的枪都打断了，路过的长官桂永清就叫父亲教士兵习武。后来，父亲受到蒋介石赏识，奉命保护张学良，和张学良关系很好。由于这一机缘，从6岁到10岁，李大维常和张学良及赵四小姐接触。李大维妹妹的公公是国军一级上将刘安祺，刘安祺退休后，有次和李大维等人到海水浴场玩，晚上睡在同一个帐篷闲谈。刘安祺对李大维说，中国共产党官兵一致、追求理想，而国军实在太腐败、派系多，并认为中国最后会统一。1968年，李大维考入中央陆军军官学校，