Brunborg kom fra en typisk jernbanefamilie, der han ble «kjørt med dresin til og fra skolen hver dag». Familien bodde først på Finse, senere på Mjølfjell på Bergensbanen. Han begynte å arbeide ved jernbanen i 1972.