Han giftet seg med Margit Hylland i 1922. De fikk tre sønner: Johans, Einar og Magne. Margit døde av blodpropp i 1925, tre måneder etter at den yngste sønnen ble født. Olav og Margit bodde heime på Groven på det tidspunktet, og besteforeldrene tok seg av barna og den syke faren. Etter hvert kom han til å tilbringe mye tid på sanatorium. Olav Groven døde av tæring på Solbakken sanatorium i Heddal i 1929, bare 33 år gammel.