Nel 1646 Porto Santo Stefano fu conquistato dai francesi per poi tornare sotto la dominazione spagnola nello stesso anno, nel 1707 passò sotto il governo degli austriaci, insieme a tutto lo stato dei Presidi, nel 1737 finì sotto il controllo dei Borboni ed in questo periodo si registrò il primo sviluppo demografico importante con l'afflusso di molte famiglie provenienti dalla Campania, dall'Isola d'Elba, e dalla riviera ligure. Nel 1801 si unì al regno di Etruria e nel 1815 con il trattato di Vienna passò sotto il Granducato di Toscana. Nel 1842 il granduca Leopoldo II di Lorena istituì la comunità di Monte Argentario, dove Porto Santo Stefano rappresentava il capoluogo e Porto Ercole la frazione. Nel 1860 insieme a tutta la Toscana entrò a far parte del Regno d'Italia, fatto storico fu la sosta di Garibaldi e i Mille il 9 maggio 1860 durante il viaggio di trasferimento da Quarto a Marsala.