1940 áprilisának elején, a 4. hajóraj tagjaként, a "Karlsruhe" is részt vett a Norvégia elleni támadásban, avagy a Weserübung hadműveletben. A hajóraj többi hajójával, a "Seeadler", a "Greif" és a "Luchs" nevű torpedónaszádokkal együtt, szárazföldi csapatokat szállított Kristiansandba. Április 9-én, mikor hazafelé tartott Németországba, a "Truant" nevű brit tengeralattjáró megtámadta a hajót, Kristiansandtól nem messze. A támadás során egy torpedótalálat érte, aminek következtében mindkét motorja, valamint az erőműve is működésképtelenné vált. A "Karlsruhe" legénységét a "Grief" torpedónaszád vette fel, mielőtt 22.50-kor, két torpedóval elsüllyesztették a mozgásképtelen cirkálót.