Som barn ble Karl, kun fem år gammel, forhindret å innta tronen da hans halvbror Karloman som døde i 884 uten en mannlig arving. Isteden valgte den frankiske adelen hans onkel, keiser Karl den tykke, til å overta tronen. Onkelen var lite populær og ble avsatt i november 887. Karl den tykke døde i januar 888, men det er uklart om det var kjent eller akseptert at han var styrtet før han døde. Karl ble oversett også da adelen erstattet onkelen. De valgte grev Odo, helten fra beleiringen av Paris (885–886), som den nye kongen, skjønt det var fraksjoner som støttet kravet til Guido/Guy III av Spoleto. Den unge Karl ble satt under beskyttelse av Ranulf, hertug av Aquitaine, og som kan ha forsøkt kreve tronen for ham for selv benytte seg av den kongelige tittel, men inngikk en fredsavtale med Odo.