Etter den kommunistiske maktovertakelse i Kina ble han plaget og forfulgt og til sist nødt til å forlate landet, men forble formelt biskop av Ichow inntil sin død i 1970. Biskop Weber ble arrestert i 1951. To år fulgte i fengsel, delvis i lenker på hender og føtter. Han underkastet ham flere runder med hjernevask.