中央军校十六期，年龄不够，只好多报了三岁，后在东北和海南岛被共军俘虏两次，还遭遇过长沙大火，二十多岁就升到了中校处长，但此后再也没有升迁，逃到台湾后，被调到孙立人成立的裁判组当副指挥官。赵父脾气很急，一辈子好强，在军中被叫作「梭哈圣手」，把一干管军需的人贪污的钱都赢来，又称「赵百万」。
早年.赵少康小时候，母亲李莲贞在宜兰县罗东镇林场幼稚园当园长，他就跟着过来读书，在林场幼稚园念了三年，随后又在宜兰县公正国民学校读了两年才搬到台南，而后在台南的信义宗教会长大，因其母当时在台湾信义会