Borgen var også en ivrig rytter og engasjert i Drammen og Omegn Rideklubb. I 1979 ble han tildelt Norges Rytterforbunds fortjenestnål.