Området har vært befolket i lang tid, for eksempel med den romerske havna ved Portchester, noe nord for Portsmouth. Byen ble sannsynligvis grunnlagt i 1180 av den normanniske greven Jean de Gisors, tidligere dateringer er usikker på grunn av lite dokumentasjon fra denne tiden. Byen fikk sin første Royal Charter i 1194 av Rikard Løvehjerte med rettigheter å holde marked og ble dermed en borough.