את הקריירה הפוליטית החל אל-כילאני לצדו של ראש הממשלה יאסין אל-האשמי . שני האישים היו לאומנים שהתנגדו למעורבות בריטית בענייניה של עיראק, ולאחר מכן להסכמים השונים עם בריטניה - ההסכם האנגלו-עיראקי משנת 1922 וההסכם האנגלו-עיראקי משנת 1930, שהעניקו לעיראק עצמאות, אך הותירו חיילים בריטים על אדמת עיראק, ורמת מעורבות בריטית גבוהה בענייניה של עיראק. ב-1924 מונה על ידי האשמי לשר המשפטים, וב-1925 לשר הפנים. לאחר מכן שימש כיושב ראש הפרלמנט אל-כילאני, שהחל את דרכו כחבר "מפלגת הקידמה" הקואליציונית בהנהגת ראש הממשלה המתון עבד אל-מוחסן א-סעדון , התפטר מתפקיד שר על רקע מתן זיכיון להפקת נפט לחברת הנפט העיראקית (שנקראה אז "חברת הנפט הטורקית"), בשנת 1925 מפלגתו, שנקראה "המפלגה המרכזית" שימשה לצד מפלגתו של אל-האשמי ככוח אופוזיציוני חזק בפרלמנט העיראקי. בשנת 1926 נבחר אל-כילאני לשר הפנים בממשלתו של ג'עפר אל-עסכרי הוא שימש בתפקיד זה עד שנת 1928. בשנת 1930 מינה אותו המלך פייסל הראשון לכהונת ראש לשכתו, בניסיון לקרבו אליו ולמתן את עמדותיו האופוזיציוניות.
ב-1933 מונה לראשונה לתפקיד ראש ממשלת עיראק. הוא שירת בתפקיד זה בין 20 במרץ 1933 ל-9 בנובמבר 1933. כהונתו הייתה כהונה סוערת. בתקופה זו מרדו בני המיעוט האשורי, ומרד זה דוכא ביד קשה, תוך מעשי טבח באוכלוסייה האזרחית האשורית. בעת ששירת בתפקיד מת המלך פייסל, וירש אותו בנו, המלך ראזי. בסמוך לאחר מכן הוחלף אל-כילאני בג'מיל אל-מדפעי פוליטיקאי מתון, המזוהה עם בית המלוכה ההאשמי. במרץ 1935 שב יאסין אל האשמי לשלטון, ומינה את אל-כילאני לשר הפנים בממשלתו.
לקראת ההפיכה.
בשנת 1936 התחוללה ההפיכה הראשונה בעולם הערבי, כאשר קצין בשם בכר סדקי הכריח את המלך לפטר את ראש הממשלה יאסין אל-האשמי, ולמנות במקומו פוליטיקאי בשם חכמת סוליימן. ההפיכה הייתה תוצר של קואליציה אד-הוק בין כמה גורמים קיצוניים - קציני צבא ממורמרים, אנשי השמאל הרפורמיסטי הקיצוני, ואנשי ימין קיצוני. קואליציה זו כשלה בהשגת מטרותיה, ובצבא התגבשה קבוצה של קצינים בכירים, שעד מהרה זכו לכינוי הקולקטיבי "המרובע המוזהב" בראשותו של סלאח א-דין א-סבאע', שהתנגדה לשלטונו של סדקי. כאשר חולל סדקי את ההפיכה נאלץ אל-כילאני לעזוב את עיראק, מחשש לחייו. באוגוסט 1937 נרצח סדקי, וקבוצת הקצינים בראשות א-סבאע' החזירה את השלטון הקודם למקומו. אירועים אלו ערערו לחלוטין את היציבות הפנימית בעיראק. בין 1938 ל-1941 התערב הצבא חמש פעמים לפחות בחילופי השלטון בעיראק, ומינה מועמדים מטעמו לכהונת ראש הממשלה. לרוב היו אלו אנשי הימין הקיצוני כאל-כילאני עצמו, או טה אל-האשמי, אך גם אישים כנורי סעיד הפרו בריטי הצליחו לתמרן את אנשי הצבא לטובתם.
בשנת 1939 מת המלך ראזי בתאונת דרכים, ואת מקומו החליף המלך פייסל השני שהיה אז בן 4. לפייסל מונה עוצר, דודו, עבד אל-אילה, בן נוסף לשושלת ההאשמית, שנקט באופן מובהק במדיניות פרו בריטית. כת הקצינים הלאומנית פיתחה בינתיים עמדות פרו-נאציות ואנטי בריטיות במובהק. באותה תקופה היו פעילים בעיראק מספר גורמים שהביאו להתססה ולהקצנה של קבוצת "המרובע המוזהב". עליית כוחות מדינות הציר בעולם, והתעמולה שהפיצו במזרח התיכון ובעיראק אנשים מטעם גרמניה הנאצית ואיטליה הפשיסטית, וכן התעמולה שהפיץ חאג' אמין אל-חוסייני, המופתי הירושלמי, שנמלט לעיראק לאחר המרד הערבי הגדול.
עם פרוץ מלחמת העולם השנייה הייתה עיראק מחויבת, על פי הוראות החוזה האנגלו-עיראקי, להכריז מלחמה על אויביה של בריטניה, ולהעמיד לרשות בריטניה את מתקניה האסטרטגיים - נמלים, שדות תעופה, פסי רכבת. ההנהגה העיראקית התמהמהה ביישום מחויבויותיה. היא לא הכריזה מלחמה על גרמניה, אלא רק ניתקה עמה את היחסים הדיפלומטיים, ועם הצטרפות איטליה למלחמה, בשנת 1940, לא ניתקה עמה את הקשרים. הפוליטיקאי המוביל בפוליטיקה העיראקית באותה התקופה נורי סעיד היה פרו בריטי, אך עמד בלחצים אדירים מצד קבוצת הקצינים והמופתי שדחפו לכיוון תמיכת עיראק במדינות הציר. החל משנת 1940 סבר סעיד כי אם ימונה אל-כילאני לראשות הממשלה, הדבר ישתיק את הקצינים, אך אל-כילאני יבין כי עליו להמשיך ולסייע בבריטניה, וכך יקטן הלחץ הפנימי. ב-31 במרץ 1940 מונה אל-כילאני לראשות הממשלה.
אל-כילאני שימש כראש הממשלה במשך כשנה, אל מול לחץ פנימי וחיצוני גובר והולך. מלחמת העולם השנייה הגיעה בסוף שנת 1940 אל המזרח התיכון כאשר המערכה במדבר המערבי הביאה לאזור לוב ומצרים כוחות גרמניים חזקים שאיימו על הנוכחות הבריטית במזרח התיכון. אל-כילאני, שהיה בעל נטיות פרו-נאציות ואנטי בריטיות, שימש כראש ממשלתו של עבד אל-אילה הפרו בריטי, כאשר שר החוץ שלו הוא נורי סעיד, שאף הוא היה פרו-בריטי. הוא קיים קשרים עם מדינות הציר, ואף שלח, בדצמבר 1940 את שר המשפטים בממשלתו נאג'י שוכת למגעים עם השגריר הגרמני באנקרה, פרנץ פון פאפן. לאור עמדתם הפרו בריטית של גורמים משמעותיים בממשל העיראקי לא היה חופשי לממש את מדיניותו, ובסופו של דבר הוחלף בפברואר 1941 בטה אל-האשמי.
ההפיכה והמרד.
ב-2 באפריל 1941 מרדו קציני "המרובע המוזהב", הם הכריחו באיומי נשק את ראש הממשלה החוקי אל-האשמי להתפטר, ונטלו לידם את השלטון. העוצר עבד אל-אילה, שחזה את ההפיכה, הצליח להימלט מבעוד מועד אל ממלכת ירדן. לאחר ההפיכה עמדה בראש המדינה העיראקית חבורה של קציני צבא ופוליטיקאים קיצוניים. אל קציני המרובע המוזהב הצטרפו רשיד עאלי אל-כילאני, נאג'י שוכת ויונס א-סבעאווי שייצגו את הקו הימני הפרו-נאצי. לכל אלו חבר המופתי. לימים, טען המופתי כי בעת שהתכנסה החבורה, קודם להפיכה, הכירה בו כמנהיגם הבלתי מעורער.
ב-10 באפריל כינס אל-כילאני את הפרלמנט באופן בלתי חוקי, שכן על פי החוקה העיראקית רק המלך יכול לכנס את הפרלמנט, והעוצר החוקי, עבד אל-אילה, לא הורה על כינוס הפרלמנט. הפרלמנט החליט על הדחתו של עבד אל-אילה, והחלפתו בקרוב רחוק בן השושלת ההאשמית, שריף שרף בין פואז. העוצר החדש הטיל על כילאני להקים ממשלה. בממשלה החדשה שימש אל-כילאני כראש הממשלה ושר הפנים, שוכת שימש כשר ההגנה, ומוסא שהבנדר כשר החוץ. בין המצביעים מאונס לטובתו בפרלמנט היו גם הצירים היהודים.
אל-כילאני החל מיד להעלות דרישות ליציאת הבריטים אל מחוץ לגבולות עיראק, על אף שעיראק הייתה מחויבת לנוכחות כוחות בריטיים בשטחה על פי ההסכם מ-1930. בסופו של דבר שלח חיילים להתעמת עם אנשי ה-RAF שהחזיקו בבסיס צבאי גדול ליד חבניה, ושם מצור על הבסיס. בעלות הברית לא יכלו לוותר על עיראק, שהייתה אז נקודה אסטרטגית ראשונה במעלה, במיוחד בשל תפוקת הנפט, אך גם בשל הנמלים האסטרטגיים, קווי הרכבות ושדות התעופה שחיברו בין הנכסים האסטרטגיים הבריטים במזרח התיכון ואלו שבהודו ומזרח אסיה. העימות התפתח למלחמה גלויה, המלחמה האנגלו-עיראקית במסגרתה פלשו כוחות בריטים מארץ ישראל לעיראק, וכן הגיעו כוחות בריטים מהודו דרך נמל בצרה, והתקדמו אל בגדאד.
הכוח הצבאי העיראקי קרס אל מול המתקפה הבריטית, ובתוך ימים ספורים עמדה בגדאד בסכנה.
עוד בטרם הוכרז על התבוסה, הבריח אל-כילאני את ממשלתו ואת משפחתו לטורקיה. כאשר רצה להצטרף אליהם, לא הצליח, כי הגבול עם טורקיה נחסם על ידי כוחות בריטניה שהתקרבו לבגדאד.
ב-29 במאי נמלט אל-כילאני לאיראן, והכריז על בגדאד כשטח מפורז. לאחר בריחתו של אל-כילאני השתלטו הבריטים על עיראק כולה, והשיבו לשלטון את העוצר עבד אל-אילה. בימים שלאחר מכן, בתקופת הביניים שבין שלטונו של אל-כילאני וייצוב שלטונם של הבריטים והעוצר עבד-אל אילה בבגדאד, התחולל טבח ביהודי בגדאד שכונה הפרהוד.
אל-כילאני ויהודי עיראק.
חוגי הימין הקיצוני העיראקי, שאל-כילאני נמנה עמם, היו אנטישמים ופרו-נאצים. מעורבותם בפוליטיקה העיראקית של אישים כמופתי הירושלמי, וד"ר פריץ גרובה, שגריר גרמניה הנאצית בבגדאד, אך תרמה לנטיות אלו, והחריפה אותן.
בתקופת שלטונו של כילאני הפכה האנטישמיות לגלויה, ונוכחות הגרמנים הפכה למורגשת. בעריה של עיראק נערכו הפגנות כנגד היהודים, שהסתיימו לעיתים בפרעות. יהודים נכלאו ועונו על ידי השלטונות בטענות כי הם מסייעים לבריטניה במלחמה. תנועות הנוער, שהיו למעשה כנופיות אנטישמיות חמושות, קיבלו לידיהן את שמירת הסדר הציבורי. כאשר הסתיימה המלחמה בכישלון העיראקי, הפנה ההמון המוסת את זעמו אל היהודים. אחריותו האישית של אל-כילאני לפרהוד היא רבה, בשל מסע ההסתה כנגד היהודים שאפיין את שלטונו.
לאחר המלחמה האנגלו-עיראקית.