Gården antas å ha eksistert siden de første århundrene e.Kr. Den er første gang nevnt i skriftlige kilder på 1500-tallet, og hadde da 4 tønner skyld, i likhet med mange andre gårder i bygda. En stor del av jorden var dyrkbar, og fra 1600-tallet begynte Borgja å fremstå som en av Bøs fremste storgårder.