Borgengården ble bygd på 1700-tallet og fikk navnet av garver Guldbrand Knudsen Borgen i 1784. Bygningen ble bygget nær Mosseelva for arbeidere som jobbet på fabrikkene langs elva. Borgengården ble brukt av møllemestere, sagbruksarbeidere og andre håndverkere.