Los cofrades fueron adquiriendo sucesivamente los solares adyacentes para ensanchar el terreno del hospital, y a principios del siglo XVII de él decía el cronista Bernabé Cobo (1639) que “la casa es mediana, con los aposentos suficientes, un patio moderado, un pedazo de huerta y un cuarto aparte donde vive el mayordomo.