I en alder av femten år, etter fullført skolegang og tid som urmakerlærling, dro Johan Oscar Smith til sjøs. Etter å ha seilt i koffardifart som ungdom, flyttet han til Horten, hvor han begynte på Sjømilitære Korps som 17-åring. Han oppnådde graden overkanonér, og tjenestegjorde i den norske Marinen i nesten 40 år.