I løpet av de neste tre årene mistet England nesten alle sine besittelser i Frankrike, og Suffolk kunne ikke unngå å bli holdt til ansvar for dette. 28. januar 1450 ble han arrestert og plassert i Tower of London. Han ble forvist for fem år, men under overfarten til Frankrike ble skipet bordet og han ble drept. Det er uklart hvem som sto bak dette.