Ugland var sønn av en skipsfører. Han ble student fra Skiens lærde skole i 1847 og tok teologisk embetseksamen i 1854. Etter en tid som lærer ved skolen i Arendal ble han i 1863 utnevnt til stiftskapellan i Kristiansands stift. I 1869 ble han sogneprest til Nissedal, i 1876 sogneprest til Botne og i 1882 til sogneprest i Sandefjord. Dette siste embetet kom han på grunn av sykdom aldri til å tiltre.