Sivertsen var opprinnelig fra Kirkehavn på øya Hidra utenfor Flekkefjord; han utvandret til USA i 1907. De første årene var han bosatt i bydelen Bronx i New York. Per 1951 var han bosatt i Greenwich i Connecticut.