Etter den kambodsjanske borgerkrig trakk han seg fra sitt embede den 30. april 1976. Dette gjorde han etter at han i hemmelighet bispeviet sin etterfølger, den kambodsjanske presten Joseph Chhmar Salas i Phnom Penh den 14. april 1975 kort før han og andre vestlige borgere ble utvist av Khmer Rouge. Salas, som var den første kambodsjanske biskop, døde ikke lenge etter på Pol Pots drapsmarker. Likesom mange andre ble Ramousse etter at Khmer Rouge inntok Phnom Penh innesperret i den franske ambassade. Etter tolv dager ble han og andre andre utlendinger utvist fra Kambodsja.