Ifølge ham selv var han fra Nordstrand og hadde en far som var «umådelig rik. Han drev sin forretning på Jernbanetorvet, der han solgte vin og spirituosa». Etter gymnaset på Oslo katedralskole gikk han på Kunst- og håndverksskolen men avbrøt etter korrekser av Christian Krohg. Han skrev også føljetongen «Ung kjærlighet» som ble utgitt som novelle under psevdonymet Johan Solvik. Herseth begynte å studere sang i Kristiania.