Monumento que fue declarado con carácter provincial. Situado en la Plaza del Obispo de Vellosillo. En su interior se encuentra instalado el Museo de Arte Contemporáneo de Ayllón. El edificio se denomina casa-palacio del Obispo de Vellosillo y junto con las colecciones de arte que alberga y una biblioteca pública es de titularidad municipal.
El palacio es una construcción característica de la nobleza rural del siglo XVI. En la fachada principal se dispone una portada "de tímpano dórico partido coronada por los blasones del prelado". Tiene planta cuadrada y las salas y dependencias se desarrollan en torno a un patio central cuadrado con galerías y columnas toscanas.
El museo fue fundado en 1965 para exponer públicamente las donaciones de obras de arte realizadas por los propios autores a raíz de una experiencia por la cuál el ayuntamiento y los vecinos de Ayllón acogieron a pintores jóvenes en la localidad celebrando después una exposición en el Círculo de Bellas Artes de Madrid bajo el lema "Un Museo para un pueblo. Ayllón I". La colección se sigue multiplicando al usarse la casa-palacio como lugar de exposición de las obras producidas con motivo de los Cursos de Verano que en el lugar se celebran con la asistencia de becarios enviados por la Facultad de Bellas Artes de Madrid desde 1979.
En la actualidad cuenta ya con un depósito de más de doscientas obras de arte (esculturas, pinturas, etc.) con firmas de prestigio como las de Barjola, Alvaro Delgado, Venancio Blanco, Genovés, Lucio Muñoz, Jesús Valverde, Alcorlo, de Pablo, Mustieles, Bueno y un largo etcétera. Autor: C. Rodicio Rodríguez.
Bibliografía: P. ARTIGAS Y COROMINAS, "Bosquejo histórico de la Villa de Ayllón", Cultura Segoviana, 1932; P. ARTIGAS Y COROMINAS, "La Villa de Ayllón. El castillo y sus murallas", Cultura Segoviana, 1937; J. DE VERA, Heráldica de Ayllón, Segovia, 1968; T. GARCIA GARCIA, Ayllón, Segovia, 1977; J.C. BRASAS EGIDO, Guía de Segovia, León, 1980; T. GARCIA GARCIA, Historia y tradiciones de Ayllón y su tierra, Segovia, 1985; J.J. FERNANDEZ, Museos de Castilla y León, Junta de Castilla y León, 1990.