Albers vokste opp i Hamburg. Etter første verdenskrig flyttet han til Berlin der han avanserte som skuespiller ved forskjellige scener og ved Komische Oper. Samtidig medvirket han i rundt hundre stumfilmer. Fra 1929 var han med i mange tyske lydfilmer, blant annet i (1930) med Marlene Dietrich og Emil Jannings. I 1934 spilte Albers tittelrollen i Fritz Wendhausens filmatisering av Ibsens skuespill Peer Gynt. Han hadde også hovedrollen i fargefilmen fra 1943.