Quintanilla tuvo una gran importancia en la construcción del Palacio del Duque de Lerma (1603-1618), valido del rey Felipe IV, pues se necesitó una gran cantidad de materiales, quedando patente en la documentación que buena parte de las piedras procedieron de la cantera de los Calazares, mientras que las baldosas y tejas se cocieron en su mayoría en el antiguo horno o tejera, ubicado junto a la actual panadería.