Se llama así por servir de cilla o granero, en tiempos de los duques de Osuna, propietarios del inmueble.