Ayers ble født i Portsea i Hampshire i England som sønn av William Ayers, ved verftet i Portsmouth, og hans kone Elizabeth, født Breakes. Han fikk sin utdannelse ved Beneficial Society's School (Portsea). Han begynte å arbeide i et advokatkontor i 1832. Han emigrerte, som en snekker, til Sør-Australia i 1840 med sin kone, Elizabeth på gratisbilletter. Inntil 1845 arbeidet han som en advokatfullmektig. Han ble da utnevnt til sekretær av Burra Burras gruver. Innen et år ledet han over 1000 menn. I nesten 50 år kontrollerte han denne gruven. I starten som sekretær og senere som administrerende direktør. Han skapte sin rikdom fra kobbergruvene i Burra Burra, som var kjent som «monstergruven» som sikret rikdommen til kolonien Sør-Australia.