Karl den stores grav ble i år 1000 åpnet av Otto III da graven ble funnet. En senere historie, fortalt av Otho av Lomello, forteller at kroppen ble funnet i oppsiktsvekkende god stand, sittende på marmortronen, kledd i sin keiserlige drakt, med kronen på hodet, evangeliet liggende åpen i fanget og septer i hånden. Et stort maleri der Otto og andre adelige betrakter den døde keiseren ble malt på veggen i det store rommet i rådhuset, og da graven ble åpnet igjen i 1165, denne gang av keiser Fredrik I Barbarossa, ble levningene plassert i en skulpturert sarkofag av parisisk marmor. Levningene fikk ligge i sarkofagen fram til år 1215 da Fredrik II plasserte dem i en kiste av gull og sølv.