Det er en fortelling, som vanskelig kan verifiseres, at eksilet hadde sin grunn i at Walafrid henga seg så mye til sine brev at han neglisjerte sine klosterplikter. Fra hans egne dikt synes det heller som om hans flukt skyldtes at han hadde politisk støttet Lothar da Ludvig den fromme døde i 840, til tross for at han hadde vært lærer for dennes yngre bror Karl den skallete. Det kom til en forsoning og han ble likevel gjeninnsatt i sin stilling i 842.