I 1769 ble skolen angrepet av kinesiske og kambodsjanske sjørøvere, som drepte flere av studentene og brente ned hele anlegget. De overlevende måtte flykte; det var i desember samme år. Pater Pigneau og de andre tok seg på en lang sjøreise ned gjennom Malakkastredet og østover til Pondicherry. Der gjenopprettet de prestekollegiet, i Virampatnam, noen få kilometer fra selve Pondicherry.