Saltveit vokste opp som nest yngst blant ti søsken. Han mistet moren da han var bare to år gammel. Etter å ha tatt ved latinlinjen ved gymnaset i Haugesund begynte han å studere filologi ved Universitetet i Oslo. I året 1939–40 hadde han et studieopphold som stipendiat ved universitetene i Jena og Hamburg, hvor Conrad Borchling, en kjent forsker på nedertysk, var en av lærerne hans. Etter det tyske angrepet på Norge vendte han tilbake til Oslo og skrev en hovedoppgave om nedertysk diktning. I 1941 fikk han historisk-filosofisk embetseksamen.