Hermann Ruge var gift to ganger, først 2. september 1729 med Emerentze Kaaes (1708–1745), og andre gang 30. januar 1748 med Catharina Aleth Castberg (1721–1778), som var datter av handelsmann Tyge Castberg (ca. 1685–1732) og hustru Elisabeth Sophie Wessel (1686–1756). Med Emerentze hadde han seks barn, og med Catharina fikk han to barn til.