לאורך שנות השמונים גברו מגמות החילון וההשכלה בקרב יהודי מזרח אירופה, ועלה כוחם של המשכילים. כך קרה גם בתנועת חיבת ציון עם יסודו של הוועד האודיסאי והתחזקותו של ארגון "בני משה" בראשותו של אחד העם. "בני משה" שם לו למטרה להביא לתחייה לאומית של עם ישראל באמצעות חינוך תרבותי ו"הכשרת הלבבות" בקרב העם היהודי. התחזקות הארגון בראשית שנות התשעים הביאה לסילוקם של נציגי החרדים מתפקידיהם בתנועה "חובבי ציון", בהם יחיאל מיכל פינס, ולחזרתם לחיק היישוב הישן. פינס אף חבר לאנשי היישוב במאבקם בציונים המשכילים. בין היתר בכוונתם להקים בית ספר בעל חינוך "חופשי" ביפו, וכן במלחמתם באליעזר בן-יהודה על רקע התנגדותו לחלוקה ופעולותיו להחייאת השפה העברית.
ההתנגדות מחוץ לארץ ישראל.
במקביל נשמעו קולות מתנגדים לפעילותה של "חיבת ציון" באזורים בהם פעלו אגודותיה ברחבי אירופה. ארגונים ראשונים של יהודים אורתודותקסים כדוגמת "תנועת מחזיקי הדת" ו"הלשכה השחורה" שתמכו בתחילה בסיוע הכספי שהעניקו חובבי ציון לאנשי היישוב בארץ, החלו לבקר את פעילותה. בתחילה בשל ראשיה החילונים, ובשל היעדר התמיכה הישירה באנשי הקהילות אלא רק בניסיונות להתיישבות חקלאית. עם התחזקות הציונים המשכילים החלו הארגונים החרדים לבקר את שאיפותיה המשכיליות והלאומיות של הציונות:
בתגובה להתנגדות הגוברת מצד אנשי היישוב הישן ורבני קהילות באירופה, פרסמו "חובבי ציון" את הספר "שיבת ציון", ובו הסכמות של רבנים לפעולותיה של התנועה. חלק מהם קראו להמשך מפעל המושבות למען היהודים הנרדפים באירופה. חלק אחר קרא לחרדים שלא לדחות את מפעל ההתיישבות בגלל חלקם של המשכילים.
מול ההסתדרות הציונית.
ראשית הציונות המדינית.
בשנות התשעים החל בנימין זאב הרצל בניסיונותיו הדיפלומטיים להשגת צ'ארטר להקמת מדינה יהודית, והציע את רעיונות הציונות המדינית. בתחילה חשב שיעלה בידו לשכנע בכך את עשירי היהודים, שיממנו מכספם למען מטרה זו. משנכשל במאמצי השכנוע, החליט לרתום לכך את המוני היהודים באירופה. הרצל קוויה לשיתופם של היהודים האורתודוקסים באירופה ביוזמתו המדינית. הוא פנה למספר רבנים בקהילות מערב ומזרח אירופה וניסה לשכנעם לתמוך ברעיון להקמת מדינה לעם היהודי. בתגובה לכינוס הקונגרס הציוני הראשון, הצהיר יו"ר הלשכה האורתודוקסית בהונגריה, הרב משה ליפשיץ: העיתון דער איזראעליט, ביטאונם של האורתודוקסים בגרמניה, הודיע:
בסופו של דבר זכה הרצל לקבל את ברכתם של רבני תנועת "חובבי ציון" בראשותו של הרב שמואל מוהליבר ושל רבנים נוספים ברחבי התפוצה היהודית לצד התנגדות של רבנים אחרים.
מלחמת התרבות בקונגרסים הראשונים.
לפני הקונגרס הציוני השני בשנת 1898 גברו הקריאות בהסתדרות הציונית ל"כיבוש הלבבות" ולהחדרת תרבות ציונית בקרב הקהילות היהודיות. קריאות אלו עוררו התנגדות מצד החרדים, שחששו מההשקפות הלאומיות החילוניות שהיו במוקד מהלך כזה. וועידת ורשה, שכינסו ציוני רוסיה לפני הקונגרס, קרא הרב אליהו עקיבא רבינוביץ' להקים גוף רבני שיפקח על ערכי התרבות שיובילו את ההסתדרות הציונית: "רק אז בהיות מפלגת החרדים בטוחה בדעותיה שלא תחלשנה על ידי הקולטורא והציונות, תתן את ידה לתנועתנו". המשתתפים בוועידת ורשה וכן הקונגרס הציוני החליטו ברוב קולות שלא לתמוך בבקשה זו של החרדים. בלחצם של שני הפלגים - תלמידי אחד העם מצד אחד שקראו ל"עבודת הקולטורא הלאומית", והנציגים החרדים מצד שני שקראו לשמירת המסורת במוסדות ההסתדרות הציונית, וכן בלחצו של הרצל לשמור על איחוד השורות בתנועה, הוחלט לבסוף:
ההחלטה הייתה מנוגדת לדעותיו של הרב רבינוביץ ובשנת תרנ"ט פרסם את הספר "ציון במשפט" ותקף בו את תוכניות התרבות של הציונות. במקביל החלו רבנים רבים לפעול בגלוי נגד הציונות. בקונגרס הציוני השלישי שהתקיים בשנת 1899 שבו ונשמעו הקולות הקוראים להגדרתה של הפעילות התרבותית והחינוכית של ההסתדרות הציונית. הפעם הצליחו נציגי החרדים להדוף את הקריאות מצד החילונים, וכפי שמדווח אחד העם הכריזו אלה כי "שאלת הקולטורא נתבטלה מכל וכל".
פרסום הספר "אור לישרים".
רבנים וראשי ארגונים חרדים החליטו בשנת תרנ"ט להגיב באופן פומבי לפעילות הציונית על ידי פרסומו של "קול קורא" נגד הציונות. אנשי "הלשכה השחורה" נפגשו בקובנה יחד נציגים חרדים נוספים, ביניהם שליחו של האדמו"ר הרב שלום דובער שניאורסון מחב"ד במטרה לפעול להגשת חתימותיהם של רבנים ליטאים וחסידים. בסופו של דבר נמנע פרסום הקריאה על ידי ההיסטוריון בן-ציון דינור, שסיפר על הכוונה לפעילים ציונים בקובנה.
שנה לאחר מכן, הצליחו הפעילים החרדים להוציא לאור את הספר "אור לישרים", ובו מאמרים של מספר רבנים "נגד השיטה הציונית". בטיעונים המופיעים בו הושוותה הציונות לרפורמים, שתכליתם לשנות את חוקי הדת ולעקור מעם ישראל את מסורת אבותיו. כמו כן נזכר כי הציונים פועלים לדחוק את הקץ ומכחישים כי הגאולה תבוא בדרך נס, למרות דעתו כי לבסוף נשמעו נימוקים פרקטיים, לפיהם הציונות כתנועה קטנה וחסרת כוח לא תוכל להתמודד מול המעצמות הגדולות המתנגדות לשיבת היהודים לארצם, וכן גם שהעם היהודי אינו מסוגל לפעילות לאומית ולהקמת מדינה.
הרב דוד פרידמן מקרלין, מחשובי הרבנים בדורו שהביע תמיכה בפעילותם של "חובבי ציון", תקף בחריפות את הציונים באיגרתו במילים:
את המכתב החריף ביותר המופיע בספר כתב האדמו"ר הרש"ב מחב"ד, שהיה בין הדוחפים לפרסום הקונטרס. הוא תקף את הציונות בטיעונים מעשיים, לפיהם מדובר בחלום שווא של היהודים הציוניים. כמו כן ראה האדמו"ר מחב"ד חטא בהשתתפות עם הציונים, ואמר כי גם אם יצליחו תוכניותיהם יגרם מכך בסופו של דבר אסון ליהודים. הן בגלל תגובת אומות העולם, והן בגלל הציונות החילונית: לדעת הרש"ב, הציונות מסוכנת יותר ממהשכלה וההתבוללות, משום שהמחזיקים בה רואים את עצמם כיהודים כשרים, ורוצים לשנות את המסורת היהודית, אף על פי ש"כל דתם היא לאומיות".
אך התנגדותו העיקרית של הרש"ב לציונות הייתה בגלל רצונם של חבריה לפעול לקירוב הגאולה בדרכים מעשיות. במכתבו הוזכרו לראשונה שלוש השבועות כנימוק נגד הפעילות הציונית. וכך כתב:
הקמת אגודת ישראל.
במקביל לפעילותה של ההסתדרות הציונית נעשו מספר ניסיונות להקים ארגון של היהדות החרדית באירופה שיפעל נגד מגמות החילון וההתבוללות, וכנגד שאיפותיה הלאומיות של הציונות. אחד מהם היה התאחדות האורתודוקסים בגרמניה, שהוקם עוד בשנת 1885 על ידי ראשי האורתודוקסיה בגרמניה. משנת 1905 עמד בראש הארגון יעקב רוזנהיים, שפעל כדי לאחד את הפלגים החרדים השונים. החל משנת 1907 התקיימו מספר כינוסים של רבני ההתאחדות, ונשמעו קולות הקוראים להקמת ארגון גג שיפעל נגד הפעילות החילונית הגוברת של התנועה הציונית. הקמת ארגון כזה התעכבה בשל חילוקי דעות בין הפלגים החרדים השונים, שחלקם קרא להתבדלות ולשמירת המסורת ללא פעילות ציבורית. בספטמבר 1911 פרשו חלק מחברי תנועת המזרחי מהתנועה הציונית, לאחר החלטה שהתקבלה בקונגרס הציוני העשירי על ארגון וריכוז הפעילות התרבותית בארץ ישראל על ידי ההסתדרות הציונית. חלק מפורשי המזרחי הצטרפו למחנה הרבנים המתנגדים לציונות וקראו להקמתו של ארגון אורתודוקסי שיפעל מחוץ להשפעתה של התנועה הציונית. מהלך זה היה הדחיפה האחרונה שנדרשה להקמתו של ארגון היהודים החרדים. ראשי התאחדות האורתודוקסים התאחדו עם רבני היהדות החרדית במזרח אירופה, באנגליה ובצרפת, ויחד הקימו את "אגודת ישראל". האגודה נוסדה בי"א בסיוון תרע"ב (1912), בוועידה שהתקיימה בעיירה קטוביץ. היא הועידה לעצמה על פי מטרתה המוצהרת "לפתור ברוח התורה והמצוה את השאלות השונות אשר תעלינה יום יום על הפרק בחיי כלל ישראל", בראשיתה התנגדה אגודת ישראל לציונות בטענה כי הציונים רואים בה תחליף לקיום מצוות ולייחודו של העם היהודי.
מלחמת העולם הראשונה והצהרת בלפור.
המאורעות בשנים שלאחר יסוד אגודת ישראל, השפיעו באופן מכריע על עיצוב עמדותיה ביחס לציונות וביחס ליישוב ארץ ישראל. מוראות המלחמה הביאו להכרה בפגיעותם של המרכזים היהודים באירופה, ויצרו תנועת המונים למקומות בהם יוכל להתקיים ישוב יהודי בטוח. הצהרת בלפור, שפורסמה על ידי הבריטים לקראת כיבוש ארץ ישראל, היוותה הכרה רשמית של אומות העולם בקשר של היהודים לארץ ישראל. היא גם הסירה את החשש הדתי שהקמת ישוב יהודי עצמאי בארץ תהיה בבחינת מרידה בגויים. בדומה לציונים הדתיים ראו גם ראשי אגודת ישראל בהצהרת בלפור את יד ההשגחה, אולם שללו את הקשר שבינה לבין ההתעוררות הציונית:
מבחינת ההתארגנות המעשית, החלו ראשי אגודת ישראל לראות ביישוב ארץ ישראל נדבך מרכזי בפעילות האגודה, בצד ארגון וחיזוק הקהילות הארותודקסיות באירופה. מנהיג ומייסד האגודה, הרב רוזנהיים ייצג את התגובה הפרגמטית של היהדות החרדית, בעקבות השינויים ההיסטוריים שאפשרו ליהודים להתיישב בארץ ישראל. הרב רוזנהיים קרא לפעול בכיוון זה גם כדי להתמודד עם התחזקותם של הזרמים הציוניים בתום המלחמה ולאחר הצהרת בלפור. השקפה רעיונית מקיפה השמיע מנהיג אחר בתנועה, הרב ד"ר יצחק ברויאר. לשיטתו, כפי שהתגבשה בשלב שלאחר הצהרת בלפור, עם ישראל מחזיק ביעוד לאומי להקים את מדינת התורה בארץ ישראל. זאת במסגרת הסדר העולמי החדש וללא קשר לתנועה הציונית שראשיה כופרים בתודעתו התורנית של עם ישראל. ביחס לתנועה זו כתב : עם זאת הביע הערכה אישית לדמותו של הרצל.