Vaimonsa kuoltua vuonna 1892 Stark muutti Etelä-Afrikkaan ja asettui Kapkaupunkiin, jossa hän harjoitti lääkärin praktiikkaa ja retkeili ympäri Etelä-Afrikkaa keräten näytteitä South African Museumille, vuodesta 1898 lähtien myös Durban Museumille ja Albany Museumille. Stark muutti Durbaniin hieman ennen toisen buurisodan puhkeamista. Vuonna 1899 hän matkusti Englantiin valvomaan kirjansa "The Birds of South Africa" painatusta. Teoksen oli tarkoitus olla osa Etelä-Afrikan eläimistöä käsittelevästä sarjasta, jota toimitti South African Museumin johtaja William Lutley Sclater. Stark palasi Nataliin syyskuussa 1899 ja toimi brittijoukkojen lääkärinä buurisodassa.