Johan Jeremiassen var gift med Ellen Serine Knudsen (1846–1937), datter av skipsreder Christen Knudsen (1813–1888) i Porsgrunn. Hun var søster til skipsreder Jørgen Christian Knudsen, Frednes, og senere statsminister Gunnar Knudsen (1848–1928), Borgestad.