Harrison escribió «Don't Bother Me» mientras estaba enfermo en cama en el cuarto de un hotel de la ciudad de Bournemouth, Inglaterra, donde The Beatles estaban haciendo algunos shows durante el verano de 1963.