El palacio fue construido por el Infante Don Luis Antonio de Borbón y Farnesio, décimo hijo del Felipe V y hermano de Carlos III- El proyecto fue del arquitecto Ventura Rodríguez, que supervisó la realización del proyecto, pero delegó su ejecución en cuatro colaboradores. La planta se ordena en cinco crujías paralelas a la fachada principal, siendo la central donde se ubican la escalinata y los patios. A su vez estas crujías se cortan mediante otras perpendiculares, ordenando y dividiendo la planta en estancias cuadriláteras bien proporcionadas, de total regularidad. La fachada muestra las huellas evidentes de un edificio inacabado que utiliza materiales característicos de su entorno como el granito gris y los revocos de arena del Tiétar. Al exterior el palacio destaca por sus elegantes proporciones, ordenando sus tres niveles con unas líneas horizontales claramente palaciegas. Los torreones que se elevan sobre la cubierta y rematan las esquinas, dotan al palacio de un aspecto escurialense. Inicialmente estaban previstos cuatro torreones, uno en cada esquina, pero finalmente sólo pudieron ejecutarse dos de ellos. Este carácter sobrio y ordenado caracteriza su exterior, donde destaca por su monumentalidad el pórtico. La entrada principal del palacio se realiza a través de este bello pórtico de proporciones clásicas diseñado por Ignacio Tomás en piedra granítica, concebido como un arco de triunfo formado por tres arcos con seis columnas dóricas y un balcón con balaustrada y que da acceso al zaguán. El zaguán permite el acceso al espacio de la escalera, espacio cuadrado en doble altura cubierto mediante bóveda y delimitado mediante una arquería perimetral con balcones que se configura por sus elegantes proporciones como una de las piezas fundamentales del palacio Al oeste se localiza la Casa de Oficios y las caballerizas, integrantes también del monumento junto con los jardines.