«Misery» fue empezada en los camerinos antes de que The Beatles actuaran en el King's Hall, Stoke-on-Trent, el 26 de enero de 1963, y posteriormente fue completada en la casa de McCartney en Forthlin Road.