Marcus Mumford studerte ved ved University of Edinburgh før han reiste til London for å satse på musikken, og bandets tekster er sterkt påvirket av litterære forbilder. Eksempelvis er navnet på debutalbumet hentet fra Shakespeares og tittelsporets tekst inneholder flere linjer fra det samme stykket: , og Tittelen «Roll Away Your Stone» er en referanse til og i teksten finnes linjene som låner og parafraserer Macbeths replikk i 1. akt, scene 4: I et intervju uttalte Marcus Mumford at det er fritt fram å bruke sitater fra Shakespeare.