Borge ble født i Kristiania (dagens Oslo), og studerte juss ved Det Kongelige Frederiks Universitet (dagens Universitetet i Oslo).