Esta mudanza tuvo probablemente que ver con sus preocupaciones por las acciones de Norfolk que condujeron a su encarcelamiento en la Torre el 8 de octubre de 1569 y su posterior condena a muerte, en 1572 tras la Conspiración de Ridolfi.