John Lennon og Paul McCartney skrev mesteparten av «Misery» i garderoben til King's Hall i Stoke-on-Trent den 26. januar 1963. Også tilstede i garderoben, var Hollies-medlemmene Allan Clarke og Graham Nash, og disse to hjalp til med teksten uten å bli kreditert. Lennon og McCartney skrev sangen ferdig i Liverpool fire dager senere.