Navnet Yarmouth viser til munningen av elven Yare; den eldste formen av dette navnet er . Byen ligger like ved stedet hvor romerne anla en militærleir ved elveoset, som de kalte , senere forvansket til . Mange fiskere fra Cinque Ports trakk til stedet i angelsaksisk tid, og da normannerne erobret landet i 1066 var det 70 borgere i Yarmouth. Henrik I utnevnte en til å styre byen. I 1208 gav Johan borgerne privilegier tilsvarende de Oxford hadde. Disse ble senere forsterket i nye chartere, som bekreftet Great Yarmouths rettigheter i forhold til Little Yarmouth og Gorleston.