La denominación del edificio es de origen popular debido a la presencia de sus cuatro imponentes clásicas cariátides (columnas en forma de mujer) situadas a ambos lados de la entrada principal del edificio.