Ustvedt ble cand. med. i 1892 og dr. med. i 1900. Spesialfeltet hans var epidemiologi, og Ustvedt foretok flere studiereiser på kontinentet og India. Tilbake i Norge arbeidet han ved Ullevål sykehus, samtidig som han hadde flere undervisningsstillinger ved universitetet.