Gjennom 1700-tallet og 1800-tallet fortsatte Borgja å være en av Bøs største gårder. Halvor Borgja har blitt beskrevet som «litt av en konge» i Bø på 1800-tallet, og var internasjonalt kjent som oppdretter av storfe. Han vant blant annet førstepremie i en internasjonal utstilling i København i 1888. Borgja ble eid av Steinulv Borgjas etterkommere, med familienavnet Borgja (Borgia), til gården ble solgt ut av slekten i 1927.