Villa solgte Crouch i juli 2004 til Southampton for £2 millioner. Crouch signerte en fireårsavtale. Selv om Crouch skåret 16 mål på 33 kamper i løpet av 2004-05-sesongen, ble fremtiden hans usikker da Southampton rykket ned fra Premier League.