Během 2. búrské války (1899–1902) v Jižní Africe sloužil Goulding jako kavalerista a později se trvale usadil v Natalu, kde také zemřel.