Han ble etterfulgt på tronen av sin bror Oscar II. De to brødrene hadde ikke stått på god fot med hverandre, og Karl XV hadde flere ganger forgjeves forsøkt å få Riksdagen til å gi kvinner arverett til den svenske tronen, slik at datteren Louise kunne etterfølge ham. I 1872 planla Karl XV å gifte seg med den polske adelskvinnen Graciosa Krasinska, i håp om at hun kunne gi ham en mannlig tronarving. Hun var datter av dikteren Zygmunt Krasiński, og ifølge et brev som Karl XV skrev til Fritz von Dardel, var hun 20 år gammel og hadde en formue på ni millioner. Kongen aktet å bruke hennes formue blant annet til å pusse opp Stockholms slott og Ulriksdals slott. Imidlertid døde han før ekteskapet ble inngått.