Ferry onnistui myös muutamien muiden poliitikkojen kanssa aikaansaamaan Ranskan siirtomaaimperiumin merkittävän laajentamisen uusin valloituksin. Näin hankittuihin alueisiin kuuluivat Tunisia (1881), Tonkinin ja Annamin alueet Vietnamissa (1883), Madagaskar (1885) sekä Ranskan Kongo (1884–1885). Valloituspolitiikka ei juuri saanut tukea kansalaisilta ja Tonkinin valloitukseen liittyneet ongelmat johtivat lopulta Ferryn toisen hallituksen kaatumiseen. Maaliskuun lopussa 1885 saapuneet tiedot ranskalaisten perääntymisestä Lạng Sơnissa johtivat edustajainkamarissa radikaalien masinoimaan epäluottamuslauseeseen hallitukselle kahta päivää myöhemmin. Pääansion hallituksen kaatamisesta katsotaan kuuluneen Georges Clemenceaulle, joka vastusti resurssien tuhlaamista siirtomaavalloituksiin. Kiinan kanssa onnistuttiin tosin neuvottelemaan Ranskalle edullinen rauhansopimus, mutta se ei enää pelastanut Ferryn hallitusta. Ferry ajautui Tonkin-kriisin seurauksena myös henkilökohtaiseen epäsuosioon, mutta pysyi kuitenkin vaikutusvaltaisena poliitikkona maltillisten tasavaltalaisten puolueessa. Hän esiintyi valtaa tavoitelleen kenraali Georges Boulangerin vastustajana. Vuonna 1887 Ferry oli puolueensa ehdokkaana presidentiksi, mutta vetäytyi vapaaehtoisesti vaalista kompromissiehdokas Sadi Carnot’n hyväksi, jonka myös radikaalit hyväksyivät.