Da museet åpnet hadde det navnet Morskabs-museet. I 2004 skiftet det navn til Revymuseet, og i 2018 til Alhambra.