利后，被任命为全美式装备的94军参谋长，接收上海和天津，在天津因为和陈诚意见不合，愤而辞职回乡，被当时任贵州省主席的同乡谷正伦任命为贵州保安副司令兼参谋长。解放军进攻贵州时，随军撤退到广西，又被任命为广西警备司令，后又败退到云南。在云南时被推举作为代表去香港向谷正伦汇报，这时云南龙云宣布起义。谷正伦因为在贵州擅自擒杀89军军长刘伯龙，引起蒋介石大发雷霆，不敢去台湾，张法干和谷正伦一起滞留香港，直到1952年蒋介石宣布“既往不咎”，他们才一起迁往台湾。但蒋怀疑他在广西时和桂系有来往，因此不予以任公职，