The Beatles var på USA turne i august 1964, og 31. august bodde de på hotellet La Fayette Motor Inn i Atlantic City. Paul påbegynte å skrive to sanger denne dato og den ene av dem var muligens «What You're Doing». Ellers hadde McCartney gleden av å snakke med sitt idol Elvis Presley på telefon samme kveld.