I anledning opptredenen på Bath festivalen i Somerset i 1970, tilegnet Led Zeppelin en låt til Roy Harper, nemlig bluesartisten Bukka Whites «Shake 'Em On Down». Senere la de fragmenter av denne og andre bluesfragmenter til grunn for en ny komposisjon; «Hats Off to Harper». Sangen kom med på albumet . Ifølge Jimmy Page beundret bandet mest av alt måten Harper sto fast ved sine prinsipper og nektet å la karrieren bli styrt av kommersielle interesser i platebransjen.