I mars 1863 Ayers ble valgt som en av de tre Sør-Australske representanter på den Interkoloniale konferanse om enhetlige takster og innland tollavgifter. Han representerte kolonien på flere andre konferanser fra 1864 til 1877. 4. juli 1863 ble Ayers minister uten portefølje i den første Dutton regjeringen. Denne regjeringen gikk dog av bare 11 dager senere, da rådet krevde at den bør ha en ledende minister som skulle representere regjeringen, noe Dutton nektet. Ayers dannet sin første regjering som statsminister og administrerende sekretær på den 15. juli 1863. Huset var veldig delt og det var nesten umulig å få arbeid gjort. Ayers restrukturerte sin regjering 22. juli 1864, men ble slått, og trakk den 4. august 1864. Blyth regjeringen som så ble dannet med Ayers som administrerende sekretær, men overlevde ikke et alminnelig valg, og fratrådte 22. mars 1865. Når Dutton dannet sin andre regjering hadde Ayers sin gamle stilling som administrerende sekretær, og mens han fortsatt beholdt den posisjonen, dannet sin tredje regjering den 20. september 1865 som varte litt over en måned. Til tross for oppløsningene det ble svært vanskelig å få et fungerende hus. Det var 18 regjeringer mellom juli 1863 og juli 1873. Ayers ble statsminister igjen fra mai 1867 til september 1868, fra oktober til november 1868, fra 27. januar 1872 til mars 1872, og med et helt nytt team av ministrene, fra mars 1872 til juli 1873. Han holdt posisjonen som administrerende sekretær i Colton-regjeringen fra juni 1876 til oktober 1877, hans siste funksjonstid.