Em outubro de 1898 casou em com Spring Creek, Louisa Jane Hiley, então viúva. O casal teve três filhos. No início de 1900 Chaytor embarcou para a África do Sul, onde combateu na Segunda Guerra dos Bôeres, primeiro no Terceiro Contingente da Nova Zelândia e depois, já como tenente-coronel, no Oitavo Contingente. Depois da guerra tornou-se um oficial profissional do Exército da Nova Zelândia. Na Primeira Guerra Mundial fez parte da no Egito, Palestina e em Galípoli. No final de 1915 foi-lhe dado o comando da Brigada "Mounted Rifles" da Nova Zelândia, uma das unidades da Coluna do Deserto da Força Expedicionária Egípcia na Campanha do Sinai e Palestina e rapidamente foi promovido a brigadeiro.