מאידך, בגרמניה התייחס קרל בחסד ליהודים, ואת זאת יש לייחס להשפעתו של רבי יוסף בן גרשון מרוסהיים, שמצא חן בעיניו כבר בביקורו הראשון אצלו בספרד (1520) תוך סיכון נפש. הוא הוציא כמה כתבי חסות ליהודים בגרמניה, הראשון שבהם ב-1530, ולאחר מכן מדי פעם, ובעיקר בזמן המלחמה השמלקלדית שאז היו זקוקים היהודים להגנה מיוחדת. ב-1543 הוא הוציא צו האוסר על עלילות דם. עם זאת, לקראת סוף תקופת מלכותו (1551) הסכים לגירוש היהודים מוירטמברג.