十多岁就升到了中校处长，但此后再也没有升迁，逃到台湾后，被调到孙立人成立的裁判组当副指挥官。赵父脾气很急，一辈子好强，在军中被叫作「梭哈圣手」，把一干管军需的人贪污的钱都赢来，又称「赵百万」。
早年.赵少康小时候，母亲李莲贞在宜兰县罗东镇林场幼稚园当园长，他就跟着过来读书，在林场幼稚园念了三年，随后又在宜兰县公正国民学校读了两年才搬到台南，而后在台南的信义宗教会长大，因其母当时在台湾信义会善牧堂的幼稚园服事，并当过幼稚园主任。赵少康在台南唸小学，一直读到台湾省立台南第一中学高一