Голт народився в Лондоні, отримав освіту в Ітоні. Після навчання він вирішив розпочати кар'єру в британській армії, вступивши до Королівського військового коледжу в Сандгерсті. Згодом призначений офіцером у легкий піхотний полк герцога Корнуольского. Він брав участь у Нільській кампанії (1884/85), а потім у Третій бірманській війні (1886/87). Під час останньої кампанії він захворів і його відправили додому.