Sir Charles Dilke har förlorat sin appell.