Karlsen var sønn av Edevine Josefine Fredriksen og Valentin Karlsen, av folket . Ludvig vokste opp som omreisende tater. Sammen med foreldrene og sine mange søsken reiste de rundt vår, sommer og høst i vogn og kjerre i Norge. De bodde vinterstid på Furua, ved Gardermoen.