Han var første gang gift med regissøren Kirsten Sørlie og andre gang med NRK-programleder Ada Haug. Med Sørlie fikk Grythe datteren Hilde Grythe, som er skuespiller.