Han var sønn av lensmann og stortingsmann Peder Strand Rygh og bror til arkeolog og stortingsmann Karl Ditlev Rygh samt arkeolog og stedsnavngransker Oluf Rygh. Han giftet seg i 1870 med Sophie Arntzen, datter av stiftamtmann Karelius August Arntzen.