Si bien no hay datos contrastados, la tradición oral y algunos autores, afirman que el rey Francisco I de Francia residió alrededor de un año en la torre, mientras esperaba al acondicionamiento de algunas estancias en el Real Alcázar, durante su cautiverio tras ser capturado en la batalla de Pavía en 1525.