הלאומנים הצ'כים היללו את קוהן ואת בחירתו, שאבו עידוד מהצלחתו וראו בה חלק מחתירתם לאחדות האומה הצ'כית. הקתולים ראו במינוי הוכחה שהכנסייה אינה אנטישמית. בקרב היהודים היו כאלה שקיוו להתייצבותו לצידם במאבק מול הגורמים האנטישמים, אך רבים אחרים סברו כי מינוי ארכיבישוף ממוצא יהודי יתפרש בחוגים אנטישמיים נרחבים כפרובוקציה.
מיד לאחר בחירתו, פרסמו עיתוני פראג, וינה, ובודפשט קריקטורות מלגלגות העושות שימוש בפער בין מעמדו החדש של קוהן כארכיבישוף קתולי לבין מוצאו היהודי (ראה קריקטורה בעמוד זה).
תקוותם של היהודים שקוהן יפעל בנחישות נגד האנטישמיות נכזבה במהרה. בראיון שהעניק כשבועיים לאחר בחירתו הוא ענה תשובות מתחמקות בעניין זה. במקביל הופיעו בעיתונים ציטוטים מפורשים מדברים שאמר שנה קודם לכן, ב-1891, בהרצאה בפני סטודנטים בנושא "המגע בין יהודים לנוצרים". קוהן קונן אז על הפרת חוקי הכנסייה האוסרים על נוצרים לעבוד כמשרתים או כמטפלות אצל יהודים ואוסרים על נוצרים לבקר אצל רופא יהודי, לגור במחיצת יהודים, להשתתף בחתונה יהודית או לאכול בצוותא עם יהודים.
בסתיו 1899, בעקבות ביטול מעמדה הרשמי של השפה הצ'כית בבוהמיה, פרץ גל מהומות שהופנה כלפי המיעוט הגרמני וגם כלפי היהודים. ההמון שהוסת על ידי לאומנים צ'כים שרף ובזז חנויות ועסקים של גרמנים ויהודים. בתגובה למאורעות אלה פנה קוהן במכתב לקהל עדתו, וקרא להם להפסיק את האלימות. הוא לא נגע בסיבות לאלימות ואף נמנע מגינוי הפורעים או לצאת להגנת היהודים. בהתאם למדיניות הכנסייה שלא להתערב בסכסוכים לאומיים, הוא ניסה להתחמק מלקיחת צד בסכסוך הלאומי בין צ'כים לגרמנים. למרות שליטתו בשתי השפות ותרומותיו למוסדות ולארגונים משני צידי המתרס, נקיטת מדיניות עמומה בשאלות הלאומיות הייתה לו לרועץ והוא איבד במהרה את אמון הציבור.
במאמץ להוריד את מפלס המתח בין התנועות הלאומיות הצ'כית והגרמנית ארגן קוהן בשנת 1901 שני כנסים כנסייתיים נפרדים, האחד בשפה הצ'כית בעיר (בצ'כית Kroměříž), והשני, בגרמנית, באולומואוץ. לכנס הצ'כי נהרו כ-40,000 מאמינים רובם המכריע צ'כים, ואילו בכנס הגרמני השתתפו כ-8000 איש, מרביתם ממוצא גרמני. בכנסים אלה הוא קרא לשמירת ערכי הכנסייה והיה גאה בכך שהמפגשים עברו בשלום. אך העיתונות, בעיקר, הצ'כית תקפה כינוסים אלה בעוקצנות בציינה שהאלימות בהם נמנעה הודות לנוכחותם של כוחות צבא שאבטחו את המפגשים.
קוהן נחשב לבעל הישגים רבים בתחום הניהול הכלכלי של הבישופות. במהלך כהונתו עלה בידו להשביח את נכסי הבישופות, ולגרוף רווחים גדולים מהפעילות הכלכלית בהם הודות לניהול קפדני, ולעיתים אף קשוח. הוא ערך יותר מ-500 ביקורים רשמיים בקהילות ברחבי הבישופות, בהם גם חנך 22 כנסיות חדשות ולמעלה מ-400 מזבחות. הוא חיזק קהילות חלשות ועניות, תרם לאגודות שסייעו לכמרים מעוטי יכולת, ותמך במיזמים חברתיים לשיפור תנאי החיים בהן. ביזמתו נערך שיפוץ מקיף במשכן הארכיבישוף ב ובגן הפרחים שלה וכמו כן תרם כספים להקמת מוזיאון להנצחת מורשתו של הוגה הדעות, המלומד הצ'כי יאן עמוס קומניוס (בצ'כית: Jan Amos Komensky).
אולם הישגיו אלה לא שיפרו את תדמיתו כפי שהשתקפה בעיתונים הצ'כים. סכסוך השפה זלג גם לענייני הכנסייה, ובעיתונות הצ'כית הותקף קוהן על כך שניהול נכסי הבישופות מתבצע בגרמנית ולא בצ'כית. קוהן הואשם בבלימת התקדמות שכבת המשכילים הצ'כית בכך שהוא נמנע מהעסקתם במשרות הניהול בבישופות תוך הבעת זלזול ברגשות הלאום הצ'כי. כמו כן יצאו נגדו על העדר תמיכתו במועמדים צ'כים ללשכת המסחר באולומואוץ, על הזנחת הוראת השפה הצ'כית בבתי הספר במוראביה, על העדפת מינוי כמרים בני אצולה ממוצא גרמני על פני כמרים צ'כים, ועל כך שאילץ את הכמרים שתחתיו לפרוש מאגודות לאומיות צ'כיות. המתח הגואה בין קוהן לציבור הרחב והעיתונות הביא בשנת 1902 לסיכול קידומו למעמד קרדינל על ידי הקיסר.
פרשת "רקטוס".
הביקורת נגד קוהן הגיעה לשיאה בסדרת מאמרים, שנחתמו בשם העט רקטוס (Rectus) שפרסם העיתון פוזור (Pozor בצ'כית- זהירות) באולומואוץ בקיץ 1902. במאמרים אלה הואשם קוהן ברדיפת בצע וכבוד, ובהתנהגות יהירה ורודנית תוך פגיעה בשאיפות הלאומיות של הצ'כים. רקטוס אמנם לא הזכיר לקוהן את מוצאו היהודי, אך טען נגדו כי הוא שואף לשליטה בעולם כמו הרוטשילדים, האשמה אנטישמית טיפוסית באימפריה של בית הבסבורג באותה עת. ביקוריו הרשמיים של קוהן ברחבי הבישופות זכו אף הם לגינויו של רקטוס בתארו אותם כמסעות ראווה מפוארים בליווית סוסים מקושטים, תפאורות של שערי ניצחון מהודרים וקבלות פנים על ידי נערות פרחים. המאמרים טוענים ליחס מטריד ומזלזל מצד קוהן כלפי הכמורה הזוטרה במטרה להכניע את רגשותיהם הלאומיים הצ'כים.
סדרת המאמרים הייתה נשכחת עד מהרה לו נמנע קוהן מלנסות לגלות את זהות הכותב המסתתר מאחורי שם העט רקטוס. באחד המאמרים העיד על עצמו הכותב כי הוא כומר, וקוהן פתח בחקירה נרחבת על מנת לגלותו ולממש את סמכותו להעניש את המשמיץ. בכך תפח העניין ועורר התעניינות רחבה בעיתונות האימפריה שם זכו האירועים לכינוי "פרשת רקטוס". החשד נפל על כומר זוטר בשם פרנטישק אוצאסק (בצ'כית Frantisek Ocasek) שהיה ככל הנראה מתוסכל ונטר טינה לקוהן מאז העברתו מאולומואוץ לקהילה קטנה ומרוחקת. הוא הובא בפני טריבונל של הכנסייה וב-17 באפריל 1903 הושעה מהכמורה ונכלא במוסד לחינוך משמעתי לכמרים סוררים. הענישה הזאת הציתה גל מחאות נגד קוהן מה עוד שכעבור יומיים, ב-19 באפריל, התייצב כומר צעיר, בן 32, בשם יוסף הופר (Joseph Hofer) והודה כי הוא זה שעומד מאחורי מאמרי רקטוס. במכתב חריף לארכיבישוף הוא לא הביע חרטה ולא ביקש מחילה.
באותה עת כיהן בגוף הבוחר של הבישופות באולומואוץ כומר, בן למשפחת אצילים, בשם ברון יוזף גרימנשטיין (Baron Joseph Grrimenstein) שהיה מינוי ישיר של הקיסר פרנץ יוזף. גרימנשטיין פנה, ביחד עם מספר פוליטיקאים צ'כים, אל הוותיקן בבקשה לשחרר את פרנטישק אוצאסק ולהשיבו לשורות הכמורה. ואכן ב-27 באפריל (כשבוע לאחר מאסרו) שוחרר אוצאסק לביתו והתקבל שם בקבלת פנים חגיגית שהפכה עד מהרה להפגנה נגד הארכיבישוף קוהן. שלב חדש ב"פרשת רקטוס" נפתח כאשר במאי 1903 הועלתה בפרלמנט האוסטרי דרישה לפתוח בחקירה נגד קוהן בחשד שעבר על חוק סודיות המידע בטלגרף. קוהן נחשד שבמהלך מאמציו לחשוף את זהותו של רקטוס הגיע לידיו נוסח של מברק המפליל ככל הנראה את הכומר אוצאסק. לאחר שטף של האשמות והתקפות על קוהן, עברה בפרלמנט החלטה, ברוב של 66 נגד 30, לפתוח בחקירה בנושא ואם יהיה צורך, להפעיל אמצעי ענישה נגדו. פוליטיקאי סוציאל-דמוקרטי סיכם זאת כך: קוהן שנוא על הגרמנים, על הצ'כים ויותר מכל על הכמרים. האפיפיור לא ימנה אותו לקרדינל ואפילו הקיסר דחה את בקשתו להיפגש עימו. אף אחד לא רוצה בקרבתו, לא עשירים, ולא העניים, לא הכמרים ולא ההדיוטות, לא לאומנים ולא ליברלים, לא צ'כים ולא גרמנים, לא נוצרים ולא יהודים.
סילוקו של קוהן.
הממשלה לא הזדרזה לפתוח בחקירה אך הדיונים בפרלמנט הביאו לפרסום נרחב של "פרשת רקטוס" בעיתונות האירופאית. בוותיקן עקבו בחשש אחר האירועים הללו והגיעו להבנה שרק התערבות האפיפיור תוכל לשים קץ לפרשה. במהלך שנת 1903 נקרא קוהן פעמיים להתייעצויות עם האפיפיור. ראשית עם ליאו ה-13 ואחר כך עם יורשו, פיוס העשירי. תוך כדי כך נמשכו ההתקפות על קוהן בעיתונות ובחוגים פוליטיים נרחבים. ב-9 במרץ 1904 הוחלט בוועדה מיוחדת של קרדינלים בראשות הקרדינל וינצ'נצו ואנוטלי (Vincenzo Vannutelli) לזמן את קוהן לרומא ולהציג בפניו דרישה להתפטרותו לאחר שחשף את עצמו לזעם הציבור והכמורה. לא היה בסמכות הקרדינלים לאלץ את קוהן לפרוש מפני שהוא לא עבר על חוק הכנסייה, אולם הם הודיעו לו כי אם יסרב הם ימליצו על השעייתו וגירושו מאוסטריה. בפגישה בין האפיפיור לקוהן ב-10 במרץ, ביקש ממנו פיוס ה-10 להתפטר מתפקידו באולומואוץ ולהישאר ברומא לשירות בוותיקן. קוהן לא יכול היה לסרב לבקשתו המפורשת של האפיפיור אך ביקש לשפר את תנאי פיטוריו. הוא התנגד לדרישה להגלייתו מאוסטריה בטענה כי הוא אזרח נאמן שלה. לבסוף האפיפיור ויתר על דרישה זו בתנאי שקוהן לא ישוב לאולומואוץ. ב-12 במרץ 1904 הגיש קוהן, בחוסר רצון, את מכתב התפטרותו לאפיפיור. התפטרותו נכנסה לתוקפה יומיים לאחר מכן. עם פיטוריו הוענק לו תואר בישופות סמלי - בישוף פלוסיום (Pelusium).
אחרית ימיו.
גם לאחר ההתפטרות לא ריככה העיתונות את הביקורת עליו. במאמר פרידה מקוהן בעיתון הווינאי דויטשס פולקבלאט (Deutsches Volkblatt) טוען הכותב כי תכונותיו המולדות של קוהן הן הסיבה להתנהגותו הנובורישית והרודנית, כמו כל יהודי שהגיע למעמד של בכורה ושליטה על נוכרים.
במכתב ההתפטרות שלו כלל קוהן הפתעה – הוא העמיד חלק מקצבת הפנסיה שלו לטובת הקמת אוניברסיטה צ'כית נוספת במוראביה, דרישה שהושמעה פעמים רבות על ידי הלאומנים הצ'כים. בצוואתו הוא אף הוריש סכום נכבד של שלושה מיליון כתר לאוניברסיטה זו בברנו (Brno). מספר חודשים לאחר פרישתו הוא רכש את הנחלה בטירת (Ehrenhausen) שבחבל שטיריה באוסטריה, שם הוא חי 11 שנים, בלוויית מזכירו הנאמן פרנץ בוטק (בצ'כית Franz Botek), עד פטירתו ב-3 בדצמבר 1915 ממחלה בכבד. הלווייתו נערכה ב-7 בדצמבר 1915 והוא נקבר במאוזוליאום על שם (בגרמנית Ruprecht von Eggenberg) המצוי בקרבת הטירה בה התגורר בארנהאוזן.