Als Gladstone 1894 zurücktrat, wurde Primrose sein Nachfolger als Premierminister, weil Königin Victoria die anderen führenden Liberalen ablehnte. Seine Regierungszeit war wenig erfolgreich. Die Massaker an den Armeniern 1894–1896 im Osmanischen Reich riefen Gladstone auf den Plan, der sich für eine Intervention Großbritanniens aussprach und die Position von Roseberry so unterminierte. Seine Versuche, die Flottenrüstung zu erhöhen, fanden Widerstand in der Liberalen Partei. Innenpolitische legislative Vorhaben wurden vom konservativ dominierten Oberhaus (House of Lords) zu Fall gebracht. Nachdem ein von Roseberry als Vertrauensabstimmung aufgefasstes Votum verlorenging, trat Roseberry mit seinem Kabinett am 21. Juni 1895 zurück und machte seinem konservativen Nachfolger, dem Marquess of Salisbury, Platz. Am 8. Oktober trat er auch als Führer der Liberalen Partei zurück; in den kommenden Jahren entfernte er sich mehr und mehr von deren Kurs, denn er unterstützte den Burenkrieg und sprach sich gegen Home Rule für Irland aus.