Ramousse ble utnevnt til apostolisk vikar av Phnom Penh i Kambodsja den 12. november 1962 og til titularbiskop av Pisita, og ble bispeviet den 24. februar 1963 av sin forgjenger, Gustave Raballand. Medkonsekratorer var Henri Pinault, utvist biskop av Chengdu, og Jean-Pierre Dozolme, biskop av Le Puy-en-Velay. Han var da 35 år gammel og den yngste katolske biskop i verden.