Situado en la Plaza de la Trinidad, cerca del Puente Mayor, se empezó a construir en 1515 deteniéndose las obras entre 1518 y 1519 por culpa de las torres que infringían una ordenanza de los Reyes Católicos. Sufrió reformas en el siglo XVII y graves incendios en 1668 y 1716. Fue uno de los más importante palacios de la ciudad, tanto por su estructura arquitectónica como por el alto "confort" conseguido en sus dependencias. Fue residencia de numerosas personalidades, como Felipe III y su familia en 1601 mientras se readaptaba el Palacio Real, lugar de nacimiento en 1603 de la infanta doña Ana Mauricia, futura reina de Francia, etc. En el siglo XX fue Inclusa y luego abandonado con grandes deterioros y entre 1984-1989 rehabilitado en exceso y restaurado una pequeña parte por los arquitectos Ignacio y Manuel de las Casas y Jaime L. Lorenzo, convirtiéndose en Biblioteca pública.
Construido en piedra, mampostería y tapial. El edificio original tenía planta rectangular (75,50 por 43,60 metros) con torres en los ángulos que unían crujías de 9 metros de ancho; otra en el centro con la caja de la escalera lo dividía en dos con patios cuadrados a cada lado, el del sur con arquerías de medio punto en la planta alta del siglo XVIII y sobre columnas corintias en la baja del siglo XVI. En alzado contaba con sótano y tres alturas. La fachada a oeste tenía una galería de doble arcada sobre columnas hacia uno de los mejores jardines españoles del renacimiento y hacia el río Pisuerga y otra se prolongaba por el lienzo sudoeste por la calle de San Quirce hasta el Espolón.
La fachada principal, a oriente, tiene la primitiva portada de acceso, de piedra, con alfiz remarcándola, puerta con arco de medio punto y escudos -de los Benavente- picados. El edificio se iluminaba al exterior con huecos rectangulares, fruto de las obras del siglo XVIII.
La rehabilitación operada en el edificio en ruina ha consistido en consolidar los muros perimetrales, de los que algunos huecos y paredes se han alterado, como las circulaciones y comunicaciones, de hecho cambiadas a los largo de los tiempos y cuando se adaptó para Orfanato. Se ha eliminado una altura de las torres y reconstruidas las hundidas, restaurado el patio de columnas y adaptado todo el interior para las nuevas funciones con hormigón prefabricado, cubiertas de cristal, elementos metálicos, etc.
Bibliografía: E. GARCIA CHICO, "El palacio del Conde de Benavente", B.R.A.B.A., Valladolid, 1946; J.J. MARTIN GONZALEZ, La arquitectura doméstica del.
Renacimiento en Valladolid, Valladolid, 1948; IDEM, Catálogo monumental de la provincia de Valladolid. Monumentos civiles de la provincia de Valladolid, Valladolid, 1976; I. DE LAS CASAS, M. DE LAS CASAS y J.L. LORENZO, "Rehabilitación del palacio de los Condes de Benavente. Valladolid", BAU, Valladolid, núm. 1, 1989; J. URREA FERNÁNDEZ, Arquitectura y nobleza: Casas y palacios de Valladolid, Valladolid, 1996; M.A. FERNÁNDEZ DEL HOYO, “Valladolid”, Casas y palacios de Castilla y León, Valladolid, 2002.