Portugiserne bygde i 1503 en festning på stedet som skulle bli til Agadir. Fortet het Santa Cruz de Cap de Gué. Berberne som holdt til i Sousdalen likte ikke dette, og jaget ut portugiserne allerede i 1541, under ledelse av den saadiske emiren Mohammed Echeikh El Mehdi. Emirens sønn bygget et fort i enden av bukta. Ruinene av fortet finnes fremdeles. Saadierne kontrollerte byen, og den konkurrerte med Essaouira om å være den viktigste havnebyen i området. I 1911 gav tyske flåtestyrkers ankomst utenfor byen navn til den såkalte Agadirkrisen. I 1913 tok Frankrike over Marokko, og anla en moderne havn i Agadir.