Если краска и обои не отваливается и её наличие вас не смущает, то отдирать не нужно. Если же начинает отслаиваться, плохо держаться или сильно вас смущает, то придется отодрать.