Da han var 15 år begynte han på gymnaset i Osnabrück. Tvangen på skolen ble uutholdelig og derfor solgte han uret sitt, skrev et avskjedsbrev til foreldrene og forsøkte å få hyre som dekksgutt på et skip i Amsterdam. I siste øyeblikk klarte moren å forhindre dette. Rohlfs begynte så på gymnaset i Celle.