El asilo se ubicó en lo que había sido una casa con huerta en las afueras de la ciudad, cerca de la puerta Torrent, que pasó a ser conocida como la «Puerta de los Locos».