Han tilhørte en skipperslekt i Christianssand; faren, også kalt Hans Jacob Stousland (1789–1856), var skipsfører, borger og karanteneinspektør i Christianssand. Som ung arbeidet Jacob Stousland en tid som seilmaker i Grimstad, samtidig som Henrik Ibsen var apotekerlærling i samme by; det er uklart om de kjente hverandre fra denne tiden, og Henrik Ibsen lot være å svare på et spørsmål om det. Han flyttet til Skien i 1840-årene, og ble styrmann og siden skipsfører og skipperborger i byen. Han førte både seilskip og dampskip i løpet av sine 65 år på sjøen. I 1859 giftet han seg med Hedvig Cathrine Ibsen, og ble dermed svoger til Henrik Ibsen og svigersønn av Knud Ibsen og Marichen Ibsen. Hans Jacob og Hedvig Stousland fikk fire barn, hvorav Carl, Johan og Anna vokste opp.