La sede de La Casa de la Memoria está situada en lo que fueron las antiguas caballerizas del palacio de Lebrija, se trata de una magnífica edificación que responde claramente al esquema tipológico de la casa patio sevillana que tiene sus orígenes a finales del siglo XV.