Gogoi fiftet seg den 30. juli 1972 med Dolly Gogoi, en zoolog ved universitetet. De fikk to barn. Datteren Chandrima Gogoi, som fok en MBA, og sønnen Gaurav Gogoi, som studerte offentlig forvaltrning ved New York University og ble medlem av Kaliabors parlament.