Halvor Steinulvsson Borgja hadde en rekke etterkommere, som var storbønder i Bø til vår tid. Storgården Borgja ble eid av etterkommerne til 1927. Minnene om Halvor Steinulvsson Borgja har vært levende i den muntlige tradisjonen i Bø til moderne tid, og det ble fortalt at han gikk med rød langelue, som han hang i vinduet når han ikke var ute og inspirerte arbeidsfolkene, slik at de skulle tro at han stod og så på dem. Halvor Steinulvsson Borgja er omtalt i romanen av Dag Solstad, som en av forfatterens forfedre. Blant Halvor Steinulvsson Borgjas etterkommere er også dronning Sonja og kronprins Haakon.