Hans Ross var prestesønn; faren var sognepresten Hans Christian Ross (1797–1872), og moren var hans hustru Magdalene Cathrine Edle Meyer (1798–1867). Farsslekten stemmet fra Skottland. Ross ble født på gården Fodnebø i Holum i Vest-Agder.