Ideen med Rarities var å slippe sanger som var mindre kjent, for eksempel B-sider og de to tyskspråklige sangene The Beatles utga. Rarities hadde ingen sanger som dukker opp på de tradisjonelle albumene, som ble sluppet i , dobbelt-EP-en eller samlealbumene 1962–1966 og 1967–1970.