1949年，由于中国大陆政权易手，他无法再在安康教区继续传教，被迫回到家乡三原教区。1959年，张刚毅由于继续忠于教宗，不愿加入天主教爱国会，被捕入狱劳改，到21年后的1980年，才被释放。
张二册村.张刚毅出狱后，来到陕西省三原县张二册村，利用恢复信仰自由的机会，在村民中大力传播天主教，使该村及邻近村庄的村民几乎全都成为热心的天主教徒，并且还接纳了一批有志修道的女青年，后来由于天主特别的安排，她们结识了德来小妹妹会（雷鸣远神父创立的女修会）的修女，这批女青年成为了德来小妹妹会的修