Zwischen 1750 und 1755 betätigte sich Ellis als Sklavenhändler, indem er Sklaven aus Afrika nach Jamaika transportierte und dort verkaufte. Nach der Abberufung von John Reynolds als königlicher Gouverneur der Province of Georgia wurde er zu dessen Nachfolger bestimmt. Er trat sein neues Amt am 16. Februar 1757 als Vizegouverneur an, wobei er in Abwesenheit eines Gouverneurs schon damals dieses Amt de facto ausübte. Am 17. Mai 1758 erhielt er dann offiziell den Gouverneursposten. Diesen bekleidete er bis zum 2. November 1760. Diese Zeit war von den Ereignissen des Siebenjährigen Kriegs in Nordamerika geprägt. Es gelang ihm, einen Frieden mit den Indianern zu schließen. Trotzdem blieb die Bedrohung eines militärischen Angriffs sowohl durch die Franzosen als auch durch die mit ihnen verbündeten Indianer bestehen.