Brunborg ble født i Oslo og var sønn av Salomon Brunborg og Gudrun Boasson, men familien flyttet senere til Nesbru. Han var bror til Erling Brunborg. Han studerte sosialøkonomi ved Universitetet i Oslo.