Myburgh was die seun van Philippus Arnoldus Myburgh en Johanna Vogel. As jong seun het hy saam met sy ouers van die Suidoos-Vrystaat na Barkly-Oos verhuis, waar hy die standerdses-eksamen afgelê het. In 1895 is hy as vyftienjarige seun na die Rand waar hy in diens van die ZAR getree het. Met die uitbreek van die Tweede Anglo-Boereoorlog op 11 Oktober 1899 het hy hom by die republikeinse magte aangesluit en na die Natalse front vertrek.