I april 1880 la han frem Samoaforslaget i Riksdagen på vegne av Bismarck, som var forhindret av sykdom. Forslaget ble imidlertid nedstemt med 128 til 112 stemmer, noe som betød av tysk kolonipolitikk fikk et tilbakeslag. På grunn av meningsforskjeller med «Jernkansleren» la grev Stolberg-Wernigerode ned sitt embede som visekansler den 20. juni 1881.