Gjennom moren var han en fjern slektning av Henrik VIII. Av uklare grunner, antagelig knyttet til mistanke om at han ville kreve tronen, ble han i 1502 arrestert og satt i Tower of London. Han ble sittende der helt til sin død 37 år senere, og er dermed den fange som satt lengst i Tower.