Gerhard Rohlfs syntyi bremeniläisen lääkärin perheeseen. Hän jätti koulun kesken ja osallistui Saksan–Tanskan sotaan vuosina 1849–1850. Rohlfs opiskeli sen jälkeen lääketiedettä, mutta liittyi sitten armeijaan, josta hän karkasi Ranskan muukalaislegioonaan. Rohlfs osallistui Algerian valloitukseen vuosina 1856–1860 ja toimi lääkärinä Marokon Fèsissä vuosina 1861–1862.