Raudeberg har navnet fra den røde steinsorten (olivin, som blir rød når den oksiderer) som fjellet/berget er bygd opp av ovenfor bygda (Raudura på Leite). Flere gravrøyser i bygda (på Røysa og Kapellneset) vitner om at høvdinger eller stormenn har hatt sete her. Raudeberg er første gang nevnt i O. Ryghs ”Norske Gaardnavne” i 1563 som Rødbergh. Senere skrivemåter: Rødberig (1603), Rodbierig (1608), Røedberig (1667), Rødberg (1723). Gården var eid av hospitalgodset (eiendommer som tidligere hadde tilhørt klosteret på Selja), men brukerne kjøpte seg ut på midten av 1800-tallet.