陈伯山为鄱阳王。陈蒨乃遣散骑常侍、度支尚书萧睿持节兼太宰告于太庙；又遣五兵尚书王质持节兼太宰告于太社。同年十月，陈蒨到临轩策命，又敕令王公已下并醼于鄱阳王府第。仍授任陈伯山为东中郎将、吴郡太守。天嘉六年（565年），转任为缘江都督、平北将军、南徐州刺史。天康元年（566年），进号为镇北将军。叔父陈顼辅政时，不欲令陈伯山驻守边境，遂于光大元年（567年），徙封陈伯山为镇东将军、东扬州刺史。太建元年（569年），陈顼即位后，征陈伯山入朝为中卫将军、中领军。太建六年（574年），又任命为征北将军、南徐州刺史。