Pedro IV falleció en 1559 sin descendiente varón, por lo que heredaría el mayorazgo su sobrino Íñigo II Fernández Velasco, quien llegaría a ser gobernador de Milán.