Ludwig entstammte dem Haus Savoyen. Er war der jüngste Sohn von Thomas II. von Savoyen und dessen Frau Beatrice dei Fieschi. Sein Vater war ein jüngerer Bruder von Graf Amadeus IV. von Savoyen. Als Vasall seines Bruders war er Graf von Piemont. Nach dem Tod von Amadeus übernahm er bis zu seinem Tod 1259 die Regentschaft für Amadeus minderjährigen Sohn Bonifaz. Über die Kindheit von Ludwig gibt es unterschiedliche Angaben. Nach "Bernard Andenmatten" war er als jüngerer Sohn ursprünglich für eine geistliche Laufbahn vorgesehen und besaß bereits Benefizien in England. Dann nahm er vermutlich 1270/71 am Kreuzzug Ludwigs des Heiligen teil. Nach Eugene Cox begleitete er 1270 seine älteren Brüder Thomas und Amadeus nach England. Dort hatte ihr verstorbener Onkel Peter von Savoyen ihnen umfangreiche Besitzungen vermacht. König Heinrich III., der mit ihrer Cousine Eleonore verheiratet war, hatte aber die Besitzungen bereits an seinen Sohn Eduard vergeben. Die Brüder erkannten, dass sie nicht wie ihre Onkel in England Karriere machen konnten, und kehrten über Paris nach Savoyen zurück.