曾被共军抓去作政工兵。来台后，他就读于接纳山东流亡学生的彰化员林实验中学（今崇实高工），本应读六年，只读四年就毕业。曾报考师范学校，但因乡音太重而只有备取，于是报考中华民国陆军官校。毕业于陆军官校之后，进入中华民国陆军58师。曾经参与进入东势、开发中横公路及大雪山运材公路，先后任排长、连长。他认为应该朝野合作进攻中国大陆；报导还说，他从军生涯十年后他选择退伍，因认为高官没在反攻大陆。先前曾盛传赵衍庆是澎湖七一三事件受害人，后证实是台湾大学台湾文学所博士生江昺崙所虚构。曾有一段婚姻，但妻子在赵衍庆