La casa se formó cuando en 1486 los Reyes Católicos concedieron el marquesado de Villafranca del Bierzo en mancomún al matrimonio formado por Juana Osorio y Bazán, hija del I conde de Lemos y de su segunda mujer María Bazán, y Luis Pimentel y Pacheco, primogénito del IV conde-I duque de Benavente, para solventar el pleito mantenido por el condado de Lemos, en cuya sucesión se había legitimado a un hijo natural del I conde, en detrimento de la descendencia femenina legítima.