Byen er kongelig, og Wallingford Castle, som nå er hovedsakelig i ruiner, hadde høy status i middelalderen som fast kongelig residens fram til svartedauden rammet byen hardt i 1340. Keiserinne Maud (eller Matilda) trakk seg tilbake hit for siste gang fra Oxford Castle i 1141 under stridighetene mot Stefan om den engelske tronen. Festningen forfalt og store mengder av dens stein ble benyttet for å renovere Windsor Castle. Likevel frambrakte byens kloster to av samtidens største hjerner, matematikeren Richard av Wallingford og kronikøren John av Wallingford.