Etter Edvard IVs død fulgte en strid om tronen. Edvard V ble avsatt, og Richard, hertug av Gloucester ble kronet som Rikard III. Rotherham ble en periode fengslet i Tower of London for sin lojalitet til Elizabeth Woodville, Edvard IVs dronning.