陈与日本占领军总督矶谷廉介合作，提议设立「华民委员会」，并于1942年出任其四委员之一。1944年12月24日，陈廉伯与三妻妾、两子、三佣人，从香港乘内河船“岭南丸”赴澳门，在香港境内的屯门以南水域磨刀岛海面，遭遇美军战机轰炸和机枪扫射后沉没（岭南丸被炸沉事件）。陈氏坠海后，生死未卜。一子一妾则有幸生还。陈之死讯于1944年12月26日的香港《香岛日报》和《华侨日报》有报导。之后，两报于1945年1月6日和11日皆有其追悼会消息。送花圈致祭的名人当中包括当时日治时期香港总督田中久一中将、前任日治时期港督