Borgja ligger på et høydedrag i Bø mellom Hasarudbekken i sørvest og jernbanelinjen i nordøst. Navnet betyr omtrent «gressletten oppe på bakken», og kommer av norrønt ; det ble i 17–1800-tallets danske skriftspråk også skrevet .