Sangen har en saxofon-solo av Brian Jones fra The Rolling Stones. Sangen er én av fire sanger av The Beatles som aldri ble utgitt i stereo. De andre tre var I'll Get You, Love Me Do og She Loves You. På 1970-tallet hadde New York City-avisen The Village Voice en avstemning om de fem beste Beatles-sangene. «You Know My Name (Look Up the Number)» ble nummer 2.