La casa de las Chirimías se levanta en un lateral del Paseo de los Tristes, junto al puente de igual nombre que, según Antonio Gallego Burín, pudo "ser el mismo que los árabes denominaron Qantarat Ibn Raxitq, rehecho en 1882".