O Castelo de Southampton foi construído pela primeira vez no fim do século XI, em algum ponto depois da conquista da Inglaterra pelos normandos. Southampton nessa época era uma cidade relativamente grande, mas não tão significativa quanto no final do período medieval. O castelo real foi erguido dentro da cidade existente no local de um provável grande salão inglês, e danos consideráveis foram causados aos edifícios locais circundantes à medida que o espaço foi aberto para a nova fortificação. A cidade de Southampton era protegida por água em quase todos os lados, rodeada por valas e margens de proteção, e o castelo foi construído em terreno ascendente no canto noroeste da cidade, com vista para a foz do rio Test, um importante canal medieval.