Las letras de Thompson en varias ocasiones han hecho referencia a la Biblia, especialmente en su época de Pixies, como en la historia incestuosa sobre el hijo de Nemrod en «Nimrod's Son», las historia de Urías y Betsabé en «Dead», Sansón en «Gouge Away» y referencias a la Torre de Babel en canciones como «Build High» y «Old Black Dawning».