后，余廉神父在1952年被派到马来亚槟城传教，从此与东方花园结下不解之缘。余廉神父曾担任1961至1962年的悲伤圣母教堂的教区神父，在槟岛的中路七苦堂传教后，即于1956年在该教堂旁创办了恒毅华小，一年后创办恒毅私立中学（现已停办），提供辍学者、印尼及泰国的华侨学习中文。1966年，在哈密顿路获得马来西亚教育部批准兴建恒毅中学校舍。余廉神父生前除了通晓英文，尚能以闽南语（或称福建话）和中文交谈，尽管贵为外国人，但却义不容辞地以毕生的精力和热忱投注于华文教育。1995年7月，余廉神父获槟州元首封赐拿督勋衔，