Huset ble bygget etter engasjement fra kulturarbeidere og organisasjoner i Porsgrunn som hadde behov for en større scene i byen. Navnet Ælvespeilet kom til etter en navnekonkurranse.