Siborne ble født i 1826 som andre sønn av offiseren og historikeren kaptein William Siborne. Han begynte sin tjeneste i the Royal Engineers (det britiske ingeniørvåpenet i hæren) i 1846 og tjenestegjorde i Xhosa-krigene 1851-1853. Han deltok i ekspedisjonen mot Basutonene i desember 1852 og var da ansvarlig for flytebroene som troppene benyttet for å krysse elvene Oranje og Caledon. Han var med under kampene ved Berea og ble nevnt i krigsrapportene.