I august 1884, bare en måned etter hans retur til parlamentet, ble et mistillitsvotum rettet mot den konservative statsministeren Harry Atkinson, og Stout overtok som statsminister da Atkinson måtte gå av. Julius Vogel ble gjort til kasserer i denne regjeringen, og dermed fikk han en betydelig grad av makt innen Stout-regjeringen. Stouts nye regjeringen varte i mindre enn to uker, ettersom Atkinson klarte å få igjennom sitt eget mistillitsforslag mot Stout, og Atkinson ble dermed re-innsatt på statsminister-posten, men han klarte ikke å etablere sin egen regjering, og han ble dermed fjernet fra makten av enda et mistillitsvotum. Stout og Vogel kom derfor tilbake til makten igjen etter kort tid.