Hans Stormoen var halvbror av Harald Stormoen. Han var gift to ganger først med Vesla Stenersen, og senere med Lill Egede Nissen. Han er far til Anne Stenersen og Hans Marius Stormoen.