Соединение официально основано 1 сентября 1944 года на базе личного состава юнкерской школы СС баварского посёлка Грайфенберг. Также, перед самым началом битвы за Берлин к дивизии присоединились личные составы 11-й добровольческой моторизованной дивизии СС «Нордланд» и бригады «Жанна Д’Арк» (). Название дивизии «Шарлемань» («Карл Великий») было дано в память об императоре, объединившем Европу в далёком прошлом, чья могила находится в Аахене. Личность императора стала символом нового немецко-французского союза. Знаком дивизии, так никогда и не использовавшемся при боевых действиях, стал новый герб, скопированный с одежд Карла Великого — двучастный щит, разделённый вертикально. На левом поле изображена половина германского орла () — белый на золотом поле, справа же — 3 французских традиционных лилии, на синем поле. Вместо этого знака использовался шеврон с нанесённым на него французским триколором (), а знак с гербом так и не был введён в использование.