Nel basso medioevo il monte seguì le sorti di Orbetello, passò sotto i possedimenti degli Aldobrandeschi, degli Orsini, di Ladislao re di Napoli e di Siena, per finire poi sotto il dominio degli spagnoli intorno alla metà del Cinquecento. A quest'epoca risalgono le costruzioni e fortificazioni che Filippo II fece erigere per difendere il promontorio e le terre circostanti da eventuali attacchi turchi, facendone il perno difensivo dello Stato dei Presidii e riattivando la vita civile di questi luoghi. Gli Spagnoli, costruirono sul promontorio e lungo l'intera costa tra Talamone e Ansedonia, una serie di fortezze e torri di avvistamento, tra queste, la Fortezza Spagnola a Porto Santo Stefano e Forte Filippo, Forte Stella e la Rocca aldobrandesca a Porto Ercole. La dominazione spagnola durò fino al 1714 e l'Argentario finì sotto il controllo degli austriaci fino al 1738 per poi passare sotto il governo dei Borbone di Napoli fino al periodo napoleonico. Sconfitto Napoleone, nel 1815 i possedimenti spagnoli passarono al Granducato di Toscana fino al 1860, quando furono annessi al Regno d'Italia. Fatto storico fu la sosta di Garibaldi e i Mille il 9 maggio 1860 a Porto Santo Stefano, durante il viaggio di trasferimento da Quarto a Marsala.