Según Lennon, al ser consultado por esta canción de su amigo de infancia y compañero de banda respondió: "When I'm Sixty-Four" fue algo que Paul escribió en los días que tocábamos en The Cavern.