Giverholt ble født i Bergen, men flyttet som barn til Stavanger, hvor han gikk i klasse med Alexander Kielland på Kongsgård skole i Stavanger. Han ble student i 1864, og avla teologisk embedseksamen i 1873. I stedet for å bli prest ble han forkynner i Kristiansands Indremisjonsforening. I 1877 meldte han seg ut av statskirken og stiftet samme år Den Evangelisk Lutherske Frikirkes menighet i byen. Giverholt ble den første forstanderen i menigheten. Han var i byen i fire år til før han dro videre til Trondheim hvor han virket som forkynner.