La torre se denominó inicialmente Garden Tower, ya que se encuentra al lado del jardín, pero recibió su nombre actual durante el periodo de reinado de los Tudor.