Saga ble født den 28. februar 1919 i Hvittingfoss i Buskerud, hvor han vokste opp på et lite småbruk. Han var nummer fire av åtte søsken. De første voksne årene arbeidet han som gårdsgutt og skogsarbeider.