Oluf Rygh var bror av arkeologen Karl Ditlev Rygh og juristen Evald Rygh, som begge var høyrepolitikere. Søsteren Petra var gift med proprietær og ordfører i Verdal Martin Daniel Müller. Deres far var stortingsrepresentant Peder Strand Rygh.