Som keiser begynte Karl å reise et palass ved Sélestat i Alsace. Han modellerte det etter palasset i Aachen som Karl den store, som han søkte å etterligne, som slikt det er vist av av Notker Balbulus, hadde bygget. Ettersom Aachen var i kongedømmet til hans bror var det nødvendig for å Karl å bygge et nytt palass for sitt hoff i hans egen maktbase i vestlige Alemannia. Sélestat var mer sentralt for keiserriket enn Aachen.