אט אט עזבו את המשטרה המעולה רבים מהצעירים היהודים ששרתו בה. הסיבה העיקרית לכך הייתה יחסם הפוגע של אנשי סגל הפיקוד הבריטיים. אלה ראו ביהודים "נייטיבס" והיחס שהורגלו לתת לחיילים מקומיים המשרתים בצבאות קולוניאליים שונים במקומות אחרים בעולם לא התאים לבחורים היהודים ואלה מיהרו להגיש את התפטרותם. לאחר שבשנתיים הראשונות לקיומה היו במשטרה המעולה שליש יהודים כפי שתוכנן, ירד מספרם בשנים 1923–1925 לכ-100 מתוך כ-420 כלל השוטרים בגדוד. בשנים האחרונות לקיומה הגיעו אלמנטים לא חיוביים במיוחד שהיו מפורדים וחסרי כל קשר מסודר עם מוסדות היישוב המאורגן שגם הוא החל לוותר על הניסיונות להשפיע על המתרחש בגדוד. ניתן לייחס זאת לאדישות היחסית ששררה בתקופה זו לענייני הביטחון. גם מצידה של ממשלת המנדט לא הייתה שביעות רצון מתפקודה של המשטרה המעולה וב-1925 הוחלט לפרקה.
הז'נדרמריה הבריטית (האירלנדים).
המשטרה המעולה הוקמה, כאמור כאחד מלקחי מאורעות 1921. אולם אין לתלות את ההצלחות שהיו במהלך המחצית הראשונה של שנות העשרים, בהרגעת הרוחות בארץ, רק באנשיה. את עיקר המאמץ בשדה זה ואת עיקר הסיוע למשטרת ארץ ישראל ניתן לראות בפעולתם של אנשי גדוד משטרה בריטית שאנשיה היו למעשה אירים אשר הגיע ארצה באפריל 1922. גדוד זה שכונה הז'נדרמריה הבריטית ובפי בני הארץ כונו "האירלנדים" הגיע מקרב יוצאי "המשטרה האירית המלכותית". שוטרים אלו הטילו את אימתם על תושבי אירלנד במהלך מלחמתם לעצמאות נגד בריטניה בשנים 1919–1921. לאחר שאירלנד קיבלה את עצמאותה פורק כוח זה ומקרב אנשיו גויסו השוטרים לשורות הז'נדרמריה בארץ ישראל. היו אלה לוחמים עזי נפש ששרתו במלחמת העולם הראשונה ואת טבילת האש המשטרתית הרצינית שלהם עברו כאמור בימי מלחמת העצמאות האירית. שמם יצא לפניהם ועד מהרה נפלה אימתם על רבים מאנשי הכנופיות הערביות. הם חיסלו את שרידי כנופיות השודדים שהיו חלק בלתי נפרד מנוף הארץ עוד מימי השלטון העות'מאני והשקיטו את האווירה בארץ בשלהי תקופת נציבותו של הרברט סמואל. הדבר גרם לצמצום משמעותי במהלך שנים אלו בכוחות הצבא הבריטי שעדיין חנו בארץ. מכמעט 3000 חייל בשנת 1922 נותרו בארץ לאחר 4 שנים כמה מאות.
הקמת חיל הספר העבר ירדני.
בסוף שנת 1925 סיים הרברט סמואל את תפקידו כנציב העליון הראשון לארץ ישראל. במקומו הגיע הלורד פלומר, איש צבא ותיק שלחם במלחמת הבורים ובמלחמת העולם הראשונה בחזית המערבית. הוא היה טיפוס שמקפיד על סדרי מנהל תקין ושאף להשליט סדר ושקט בתחום ביטחון הפנים. בתחום זה עמדו לנגד עיניו שתי מטרות: האחת להבטיח את השקט בארץ על ידי ארגון יעיל של כוחות הביטחון והשנייה להמעיט ככל האפשר את מימונם של אלה על ידי כספי משלם המיסים הבריטי. שלא בטובתו נגרר פלומר על ידי נטייתם של אנשי הפקידות הבכירה בממשלת המנדט ושל הקצונה הבכירה שעמדה בראש מערכת ביטחון הפנים. אלה העדיפו את הרחקתם של היהודים משורות כוחות הביטחון.
הצעדים העיקריים שנקט פלומר כדי להגשים את מטרותיו אלו היו בראש ובראשונה פירוקן של כוחות ה"משטרה המעולה" ושל הז'נדרמריה הבריטית ("האירלנדים"). למיטב האנשים שבכוחות אלו הוצע לעבור למשטרה הרגילה לצורך חיזוקה. חלק לא מועט של השוטרים האירים מצאו עצמם ברבות הימים בתפקידי פיקוד בכירים במשטרת ארץ ישראל. גם ליהודים ששירתו במשטרה המעולה הוצע לעבור למשטרת ארץ ישראל. במקביל בוצע שינוי בכוחות שנועדו לפעול בעבר הירדן. סמכויותיו של הלגיון הערבי קוצצו והוא הפך למעשה לכוח שיטור גרידא. במקביל הוכרז על הקמתו של כוח חדש – "חיל הספר העבר ירדני לשירות צבאי בפלשתינה (א"י) ובעבר הירדן" (“The Trans Jordan Frontier Force For Military Service In Palestine And In Trans Jordan”).
חיל הספר היה אמור להיות הכוח הצבאי העיקרי משני עברי הירדן. הוא היה אמור להיות כפוף לחיל האוויר המלכותי שלפקודתו נמסרה האחריות הכללית לביטחון בארץ. על פניו נראה היה כי חיל זה אמור היה להיות פתוח לכל אזרחי ארץ ישראל
ועבר הירדן שירצו להתגייס אליו. אולם, עקב רוגזו של האמיר עבדאללה, שלא רצה שיהודים יגנו על גבולות ארצו, שונה שמו של החיל והובטח לעבדאללה כי יהודים לא יוכנסו לשירות בו.
שמו החדש של החיל היה "חיל הספר העבר ירדני" ("Trans Jordan Frontier Force " – T.J.F.F.). האמיר עבדאללה מונה לקולונל הכבוד שלו ולמפקדו בפועל מונה הקולונל ביושר, מי שהיה מפקדו של גדוד המשטרה המעולה . גרעין ההקמה של חיל זה התבסס על יוצאי המשטרה המעולה. אך היה מדובר רק על הערבים ועל הבריטים שבהם. ליהודים ששירתו במשטרה המועלה הוצע, כאמור לשרת במשטרת ארץ ישראל.
תגובת היישוב היהודי להקמת חיל הספר.
היישוב ראה בכך סכנה חמורה, ואליהו גולומב כתב כי . ואכן, על אף שהחיל יועד להגנה הן על ארץ ישראל והן על עבר הירדן, ו-80% מתקציבו שולמו על ידי ממשלת המנדט, נקרא החיל "חיל הספר העבר ירדני" על מנת להתחמק מטענות היהודים על אי שוויון, שכן סעיפי המנדט המחייבים שוויון עם היהודים חלו רק על שטח המנדט בארץ ישראל, ולא בעבר הירדן.
ארגון הכוח.
הכוח הוקם במחנה צריפין בחודש אפריל 1926. מפקדו הראשון היה לוטננט קולונל פרדריק ויליאם ביושר, הבריטי, שהיה מפקד המשטרה המעולה. הכוח הורכב משלוש פלוגות פרשים ופלוגת רוכבי גמלים, בדומה לז'נדרמריה הבריטית, וכן משש פלוגות עתודה. הבסיס לכוח הורכב מיוצאי המשטרה המעולה, ואנשי הלגיון הערבי, ברובם ערבים וצ'רקסים, וכן מספר מועט של יהודים, ששירתו בעיקר בתפקידים טכניים, ורוכבי גמלים סודנים. סגל הפיקוד נותר בריטי, ובמשך כל ימי קיומו של החיל היה מפקדו לויטננט קולונל בריטי (דרגה המקבילה לסגן-אלוף בצה"ל). הכוח היה כפוף לנציב העליון, אך האמיר עבדאללה היה "קולונל של כבוד" בחיל מראשיתו, בנו טלאל היה "מייג'ור של כבוד" ובן נוסף בשם נאיף שירת כקצין בחיל. מפקדת החיל הוקמה בזרקא.
הכוח עד למלחמת העולם השנייה.
חיל הספר בילה את ששת החודשים הראשונים לקיומו באימונים במחנה צריפין, ולאחר מכן באזור שונת נימרין שבעבר הירדן. הניסיון הקרבי הראשון של חיל הספר היה בתקופת המרד הדרוזי. חיל הספר שמר על גבולות ארץ ישראל ועבר הירדן בתקופה זו, וכן דיכא מרידה מקומית בזרקא בשנת 1927.
במהלך מאורעות תרפ"ט היה רוב חיל הספר פרוס בעבר הירדן, ושמר שם על הסדר, אך חייליו השתתפו גם במניעת מהומות באזור הגליל המזרחי. בדרך כלל צוין תפקודו של חיל הספר באופן חיובי, אך יש שהאשימו את חייליו כי בזמן המאורעות בצפת ריכזו את היהודים תושבי המקום בחצר בית הממשלה, והרגו שבעה מהם בשעה שהגנתם הוטלה עליהם.על פי הקולונל פרדריק קיש, אל מול כישלונה של משטרת המנדט וחיל המצב הבריטי המוצב בארץ ישראל במניעת הפרעות, בלט לטובה תפקודו של חיל הספר, במיוחד במניעת תנועת בדואים מעבר הירדן לארץ ישראל. לאחר הפרעות, בחודש ינואר 1930 הגיע לארץ הרברט דאוביגין, על מנת לסייע בארגון מחדש של כוחות הביטחון, הצבא, משטרת המנדט וחיל הספר. בחודש מאי 1930 הגיש דאוביגין דו"ח מפורט ותוכנית לארגון מחדש של משטרת המנדט וכוחות הביטחון בארץ. הדו"ח סיכם כי משטרת המנדט אינה ערוכה עדיין לשמור על הביטחון בארץ, ויש לתגבר אותה, במיוחד בכוחות צבא, וכן בכוחות חיל הספר, שישמור על גבולות הארץ מצפון וממזרח. לאור המלצות אלו נערכה פריסה מחדש של חיל הספר, וחייליו הוצבו במקומות שונים בגליל המזרחי.
עד לשנת 1931 התרחב הכוח ומנה למעלה מאלף איש. בשנה זו מנה 536 ערבים מוסלמים, 188 ערבים נוצרים, 184 צ'רקסים, 25 דרוזים, 38 סודנים ו-35 יהודים, ששימשו בעיקר בתפקידים טכניים. העלות השנתית של הפעלת הכוח הוערכה במאתיים אלף לירות שטרלינג.
בשנת 1933 היה הכוח פרוש באתרים אלו -
עם פרוץ המרד הערבי הגדול שימשו אנשי החיל בתפקידי דיכוי המהומות, אך גם בתפקידי מניעה של העפלה מארצות המזרח דרך היבשה, דרך גבולה הצפוני של ארץ ישראל. עם הקמת גדר הצפון הוצב החיל לשמור עליה. אנשי חיל הספר תפסו את מ"ג אסירי ההגנה ובהם משה דיין בפעילות בלתי חוקית של הברחת נשק באזור נחל תבור בשנת 1939.
במלחמת העולם השנייה.
עם פרוץ מלחמת העולם השנייה החליטו השלטונות על הרחבה משמעותית של חיל הספר, והוא הוגדל באופן משמעותי (מסדר גודל של גדוד מוגבר, לסדר גודל של חטיבה מוקטנת. הכוח כלל כעת גדוד פרשים, גדוד ממוכן, יחידת משמר ניידת, וכן מערך לוגיסטי מוגדל. למערך לוגיסטי זה היה תפקיד חשוב במהלך המלחמה, כאשר סדנאות החיל בזרקא, בהן שירתו היהודים המעטים ששירתו בחיל, היו לסדנאות מרכזיות לטיפול בכלי הרכב הרבים של הצבא הבריטי שנעו במרחב שבין איראן, עיראק ועבר הירדן. בתקופה זו התגבר מעט גיוס היהודים לחיל, ובשנת 1942 הם מנו כ-150 איש.