«Let Down» cuenta con prominentes arpegios de guitarras y piano eléctrico e incluye un solo de guitarra de Jonny Greenwood en un compás diferente al que la canción está escrita; O'Brien describió la canción como «un guiño de Phil Spector».