I 1473 ble Rivers utnevnt til guvernør for prinsen av Wales' hushold. Da kongen døde i 1483 fulgte han den unge Edvard V mot London. Men de ble avskåret av hertugen av Gloucester, som fengslet jarlen, og fikk ham halshugget for å fjerne alle som kunne stå i veien for hans plan om å kreve tronen.