Fire år senere ble klosteret nedstengt av den prøyssiske regjering, og munkene og deres elever returnerte til England. Noen av dem, inkludert Baines, søkte tilflukt ved det nylig grunnlagte klosteret i Ampleforth i Yorkshire. Han sluttet seg til benediktinerordenen, avla løftene 6. september 1804, og ble presteviet 7. april 1810. Han hadde så i rekkefølge hver myndighetspost i klosteret, kun priorembedet unntatt.