על פי תיאורי התנ"ך, עם ישראל לא שמר אמונים לאלוהיו, ולכן נאלץ ה' להחריב את בית המקדש בידי נבוכדנאצר מלך בבל, ולהוציא את עמו לגלות, שהתפרשה על ידי עמים עובדי אלילים, ובמיוחד על ידי כובשי ירושלים, כהפסד מוחץ של אלוהי ישראל. עם זאת, ה' מבטיח שלעתיד לבוא ישכחו ויוסרו שמות הבעלים בעם ישראל, על מצילות הסוס ששימש לפולחן אל השמש, במקום צורותיו של השמש יהיה חקוק "קודש לה'", וברית חדשה תהיה כרותה בינו לבין ישראל תחת הברית הישנה שהופרה ונשברה.
בימי בית שני ותקופת המשנה.
בימי בית שני עבודת האלילים כבר לא רווחה בעם ישראל כתופעה רחבת היקף, אף שישראל שהו בסביבות אליליות כמו בבל, פרס, ותחת מלכויות אליליות כמו יוון ורומא. נראה שהלקח של חורבן בית ראשון הופנם, וישראל הצליחו להימנע מלהגרר אחרי תרבויות העבודה זרה שרווחו במזרח התיכון. הדבר ניכר גם בתלמוד, בעוד שאת חורבן בית ראשון הוא תולה בין היתר בעבודת אלילים, חורבנו של בית שני נתלה בשנאה פנימית ובחוסר תבונה פוליטית. גם דברי הגדה של פסח המיוסדים על דברי רב במסכת פסחים: "מתחלה עובדי עבודה זרה היו אבותינו" מעידים על מגמה זו. על פי חז"ל העניין והחשק לעבודת אלילים התבטל, מפני שעזרא הסופר ואנשי סיעתו התפללו וביקשו מאלוהים לבטל אותו, והוא נענה לתפילתם. כאשר הוא חוסל, חז"ל מתארים אותו באופן דרמטי, בדמות גור אריות מאש, שנראה יוצא מבית קודש הקודשים. ביטול יצר העבודה הזרה ביטל גם את הכוח החיובי שנלווה לו, ולכן באותה תקופה בטלה גם הנבואה.
אף שהיום לא ברור מה סוד קסמה של העבודה הזרה, היה בה משהו מגרה ומושך, שעם ישראל ניסה להתמודד איתו מאז ימי האבות ועד סוף ימי הבית הראשון ולרוב ללא הצלחה יתרה. על קסמה של עבודת אלילים שכבר לא היה ברור בתקופת האמוראים אפשר לעמוד מאגדה תלמודית המספרת שמנשה מלך יהודה, בא בחלום הלילה לרב אשי, מראשי הדור השישי של אמוראי בבל, שזלזל בו בעת הלימוד וקרא לו בגנאי "חבירנו", והראה לרב אשי שהוא בקי בתורה לא פחות ממנו, והוסיף ואמר לו שאם רב אשי היה חי בתקופתו, הוא היה מפשיל את שיפולי גלימתו ורץ לעבודה זרה בשל התאווה שהייתה קיימת בעניין.
במאות השנים של חסות תחת שלטון האימפריה הפרסית שהייתה סובלנית במיוחד, התאפשר ליהודים לעבוד את אלוהיהם כרצונם. גם בתחילת התקופה ההלניסטית החל מ-332 לפנה"ס השליטים איפשרו ליהודים אוטונומיה וחיים על פי "חוקי האבות". ב־198 לפנה"ס אנטיוכוס השלישי העניק ליהודים מגילת זכויות חשובה, שהעניקה ליהודים מידה רבה של אוטונומיה, וחיזקה את מוסד הכהונה. רק בשנת 167 לפנה"ס הטיל אנטיוכוס הרביעי ("אפיפנס") גזרות שמד על יהודה. גזירות אלו היוו את המניע המיידי לפרוץ מרד החשמונאים. במובן עמוק יותר, הייתה זו ההתנגשות הראשונה בהיסטוריה בין דת מונותיאיסטית לבין דת של עבודת אלילים. בין הגזרות היו לטמא את בית המקדש על ידי בניית מזבחות עבודה זרה במקדש והקרבת חיות טמאות. על פי ספר מקבים ב', המלך דרש לטמא את המקדש ולקרוא אותו על שם זאוס האולימפי. היהודים הוכרחו להשתתף בתהלוכות של האל דיוניסוס. גזרות אנטיוכוס הן תופעה יוצאת דופן בעולם העתיק, שכן השלטון הפוליתאיסטי היה סובלני בדרך כלל ביחסו לאלים ולדתות אחרות.
יהודים רבים נכנעו לגזירות, וקדמה לכך תופעה של התיוונות, במיוחד בחוגים האריסטוקרטים של העם. ואולם, המקורות מתארים גל של התנגדות עממית מצד היהודים, התנגדות שזכתה לצעדי ענישה ונקמה אכזריים מצד השלטון הסלאוקי. זו הייתה הפעם הראשונה בתולדות תרבות המערב שבה הופיעו תופעות רחבות היקף של מרטיריות, שלאחר מכן זכו לכינוי קידוש השם ביהדות. יחד עם תופעות אלו, של נכונות למות ולא להיכנע לגזירות, החלה גם התנגדות מזוינת שהלכה והתרחבה, עד שהפכה למרד החשמונאים.
התערבות גוברת והולכת בענייניה הפנימיים של ממלכת יהודה מצדה של האימפריה הרומית הביאו לכיבוש הממלכה על ידי פומפיוס בשנת 63 לפנה"ס. לאחר בואו של פומפיוס עדיין הייתה מידה מסוימת של עצמאות. באופן כללי הרומאים היו סובלנים ואיפשרו ליהודים לעבוד את אלוהיהם כרצונם ולא כפו עליהם עבודת אלילים. אף שהיו עימותים לא מעטים בין הלניסטים ליהודים, במקומות שונים בארץ.
תקרית חמורה ויוצאת דופן הייתה ניסיונו של הקיסר קליגולה להציב את פסליו בארץ ולעודד את פולחנו כאל. תקרית זו כמעט הביאה למרידה כללית, כאשר כוח צבאי גדול נחת בעכו, אך רציחתו של הקיסר המטורף הרגיעה את הרוחות.
בשנת 117 מת הקיסר טראיאנוס שנוא היהודים, ואשר בימיו התמרדו היהודים באימפריה כולה, ובמקומו עלה לשלטון ברומא הקיסר אדריאנוס ההלניסטי, שהתקבל על ידי היהודים בעין יפה. אדריאנוס אף דיבר בתחילה על בנייתה מחדש של ירושלים, ועודד את כיסופי הגאולה שפיכו בלב העם, לבנות מחדש את בית המקדש. אך תקוות אלו נכזבו לאחר שהקיסר שינה את עמדתו, והחליט בנייתה המחודשת של ירושלים כעיר הלניסטית אלילית, בשם איליה קפיטולינה. על הר הבית הוקם מקדש לאל יופיטר (או זאוס), ועל הגולגולתא, הוקם מקדש לאלה אפרודיטה. דבר שחילל את קודשי ישראל, זעזע עמוקות את העם, וגרר התקוממות רחבת היקף ומאוחדת, שהונהג שני מנהיגים כריזמטיים, איש הצבא בר כוכבא, והמנהיג הדתי התנא רבי עקיבא בן יוסף. בעקבות כישלון המרד, נגזרו גזירות השמד של אדריאנוס במטרה לשרש ולעקור את הדת היהודית, לפחות מארץ ישראל, ולנתק את הזיקה של יהודים לארץ ישראל. שעה זו הייתה שעת סכנה ליהדות שכונתה בפי חז"ל "דורו של שמד", שמא יהפך הגלגל, והאלילות תשוב לשלוט בעולם.
התוספתא מתעדת דו-שיח מעניין שהתנהל בין חכמי ישראל לחכמי רומי:
שתיים מהמרידות הגדולות של ישראל בבית שני, מרד החשמונאים ומרד בר כוכבא, נבעו מניסיון של השלטון לכפות על היהודים אלילות, והעידו על כך שאין בקרב המון העם אחיזה לאלילות. עם זאת נותרו בארץ עקבות של עבודת אלילים במקומות שונים שנים רבות. כך למשל אתר אלוני ממרא צפונית לחברון, הפך לאתר פגני מרכזי (כנראה לרומאים), שבו נערכו החגיגות השנתיות לכבוד האלים. הקיסר קונסטנטינוס שביקש למגר תופעה זו, בנה במקום כנסייה במאה הרביעית לספירה.
יש הקושרים את היעלמות עבודת האלילים להפסקתה של הנבואה. לטענתם העדר הנוכחות של האלוהים באופן מוחשי בחייהם של בני האדם, גם גרם לכך שהחשק לפולחן אלילי התמעט אף הוא. הרב יואל בן נון סובר כי כאשר תחזור הנבואה לעולם, הפולחנים האליליים יחזרו אף הם.
יחס היהדות לנצרות.
הנצרות צמחה מתוך היהדות ונושאי דגלה הראשונים היו יהודים לכל דבר ועניין. עם זאת, אמונות יסוד של הנצרות, כמו השילוש הקדוש והאמונה שישו הוא התגלמות האל, גרמו ליהדות להגדיר את הנצרות כעבודה זרה. בהמשך, עם התפתחות הנצרות והקמת הכנסיות, היחס הוותרני של הנצרות הקתולית ושל זרמים נוספים בנצרות כלפי צלמים בכנסיות, היה דבר נוסף שהיהדות לא יכלה לקבל.
הרמב"ם בעקבותיו של רס"ג, מסכם את התפיסה הבסיסית בעניין:
מצד שני רבנו תם סבר כי בני נוח לא הוזהרו על עבודת האל בשיתוף, ולכן דת כזו איננה בגדר של עבודת אלילים.
בהמשך למגמה זו, גם מנחם המאירי מסווג את הנוצרים, וקל וחומר את המוסלמים, כ"אומות הגדורות בדרכי הדתות" שאינם נחשבים כלל לעובדי עבודה זרה, ולכן הדינים המתייחסים לעכו"ם כמו שאילת שלום, יין נסך, מכירת בתים, מסחר איתם סמוך לימי חגם והשבת אבדה, אינם חלים עליהם ובלשונו:
היו שביקרו את המאירי על עמדותיו, אך הרב חיים דוד הלוי צידד בעת החדשה בעמדתו של המאירי כנגד מבקריו, והוסיף שגם רבינו עובדיה מברטנורא סבר כמאירי. אף שהראי"ה קוק מתפלמס בכתביו עם הנצרות מבחינה תאולוגית, הלכה למעשה אף הוא סבר כמאירי, "העיקר הוא כדעת המאירי, שכל העמים שהם גדורים בנימוסים הגונים בין אדם לחברו, הם כבר נחשבים לגרים תושבים בכל חיובי האדם." (הראי"ה קוק - אגרות הראי"ה א' עמ' צ"ט, איגרת פ"ט) אולם, יש שטענו שהמאירי כלל לא הביע בדברים אלו את דעתו האמיתית, וכי לשונות אלו נכתבו כלפי חוץ בלבד, ומשום אימת הנוצרים שבסביבתו. רבי דוד צבי הילמן כתב מאמר בו הביא מספר ראיות לכך שדבריו של המאירי בנושא זה אכן נכתבו רק כלפי חוץ ואינם משקפים את דעתו (גם מנחם המאירי וגם רבנו תם חיו בצרפת הנוצרית, בניגוד לרמב"ם ולרס"ג שחיו במזרח התיכון המוסלמי).
ובעקבותיו הלך גם הרב יצחק הרצוג: "...הרי לנו שני עמודי התורה הללו: הראב"ד ומרן בעל השולחן ערוך ז"ל, מסכימים לדעה אחת שנוכרי שאינו עובד עבודה זרה, אעפ"י שלא קיבל בפני בי"ד של ישראל, אין למנוע ממנו הישיבה בארץ ישראל. חוץ מזה כבר הכריע קודמי ז"ל (הראי"ה קוק) שאומה שלמה שקיבלה עליה שבע מצוות, גם בזמן הזה, יש להם דין גרים-תושבים...והנה הנוצרים בעצמם מחזיקים את עצמם בתור מאמינים באחדות הבורא, אבל השכל שלנו אינו תופס איך הם ממזגים את האמונה באחדות הבורא עם אמונת השילוש, ואולם אין להכחיש שיש להם מושג של בורא עולם ומשגיח אלא שהמושג הזה אינו צרוף... ולפי זה יצאו מכלל עובדי עבודה זרה, וכל מה שנאמר על המוסלמים סובב גם עליהם...".
מכיוון שהאמונה בישו כאל ולא כנביא והאמונה בשילוש, היא בעיקרה בעיה הקיימת בנצרות, יש הסוברים שהזרמים שכופרים בשילוש, או באמונה בישו כאל, אינם בגדר עובדי עבודה זרה, אף לשיטת הרמב"ם. ישנם המרחיקים לכת וטוענים כי אלו שרק מחזיקים בתפיסה תאולוגית שאין בצידה עבודה פולחנית של ממש, אף הם לא יכללו בגדר של עבודה זרה.
יחס היהדות לאסלאם.