Bygdefolket i Seljord samlet seg ofte i Hølje Gonges hjem for å fortelle sagn og historier, og Gonge sørget for å skrive dem ned. Disse ble senere delt med folkeminnesamlere som Hans Ross, Magnus Brostrup Landstad og Olea Crøger. Gogne diktet også selv, og er hans mest kjente dikt.