Hermann Ruge ble født og vokste opp på Nesodden i Akershus. Foreldrene var sogneprest Christian Hartvigsen Ruge (1676–1751) og hustru Wilmiche Krefting (1684–1729).