Den er én av John Lennons semi-biografiske sanger. Robert Randall skrev at «You Can't Do That» . Sangens sjalusitema ble senere behandlet i andre komposisjoner av Lennon, slik som «Run for Your Life» og «Jealous Boy». Lennon spilte gitarsoloen, som han også hadde idéen til. Sangen var influert av den da forholdsvis ukjente Wilson Pickett.