Fue construido en el siglo XV por la familia Vivero —nobles de origen gallego— como residencia señorial siguiendo el modelo de castillo llamado "escuela de Valladolid".