Johan Halmrasts far var forretningsmann, og familien var ganske velstående i de første årene av Johans barndom. Men da Johan var 12 år gikk faren konkurs, visstnok på grunn av kausjonsforpliktelser han hadde tatt på seg. Johan, som var en av fem søsken, fikk derfor ikke tatt noen utdannelse, men lærte seg både engelsk og tysk på egen hånd. Han gjorde flere oversettelser, blant annet et utvalg av og en samling dikt av Lord Byron.