于商人世家，祖父陈启沅，南洋归侨，父亲陈蒲轩是一名丝业富商。陈是长子，但从小过继给同宗二伯婆。陈廉伯最初在私塾读书，12岁时受祖父影响，入读香港皇仁书院接受英文教育，在那里获得英国国籍。16岁毕业后，陈进入汇丰银行广州沙面分行工作，后由于成绩突出升任买办。同时在1905年起他又兼任自家的丝庄“昌栈丝庄”的司理。1908年，他与南洋商人张弼士等发起创办广东保险公司，担任公司协理。因善于经营，年轻的陈廉伯很快成为巨富，1910年昌栈丝庄的资金已达30万元。陈以昌栈丝庄司理身份，相继加入广东商会、广州商务