Sedan dess har hertigen hållit sig fjerranfrån