Love of the Loved is een van de eerste liedjes die Paul McCartney schreef. Zoals bijna alle liedjes die hij schreef voordat The Beatles uit elkaar gingen, staat het op naam van Lennon-McCartney. The Beatles speelden het nummer al toen ze nog The Quarrymen heetten en ook in de tijden van hun optredens in de Cavern Club behoorde het tot hun vaste repertoire. Het was een van de vijftien nummers die ze speelden bij hun mislukte auditie bij Decca op 1 januari 1962. Daarna hebben ze het nooit meer opgenomen.