מחלוקת בין חוקרים התקיימה שנים רבות בשאלה האם ניאנדרטלים ובני-אדם מודרניים הזדווגו אלו עם אלו, והאם "בני-הכלאיים" היו פוריים. חוקרים שסיווגו את הניאנדרטלים והאדם המודרני למינים טקסונומיים נפרדים סברו שהם היו שונים מכדי שתתעורר משיכה מינית ביניהם, ושבמקרים נדירים של הזדווגות הצאצאים נטו להיות בלתי-פוריים, בדומה לפרדים ובני-כלאיים אחרים בין מינים ביולוגיים שונים. חוקרים אחרים סברו שבני-כלאיים כאלו התקיימו, והפלאואנתרופולוג אריק טרינקאוס (Erik Trinkaus) מאוניברסיטת וושינגטון, מומחה לאנטומיה של הניאנדרטלים, אף חיפש במוזיאונים ברחבי העולם אחרי גולגולות ושלדים המראים סימני תערובת של מאפיינים אנטומיים ניאנדרטלים ומודרניים.
מפנה במחקר המדעי בנושא אירע בשנת 2010, כאשר חוקרי הפרויקט למיפוי הגנום הניאנדרטלי מצאו שהגנום של בני-אדם מודרניים החיים כיום מחוץ לאפריקה דומה יותר לגנום הניאנדרטלי בכ-2% עד 3%, יחסית לגנום של ילידי אפריקה בני-זמננו. ההסבר הפשוט ביותר להבדל כזה הוא רביית כלאיים פורייה בין ניאנדרטלים ובני-אדם מודרניים מחוץ לאפריקה, מאות אלפי שנים לאחר הפיצול בין שתי האוכלוסיות. לפי הסבר זה, ילידי אפריקה בני-ימינו הם בני-האדם המודרניים ה"טהורים" ביותר, מכיוון שנשארו באפריקה ולא באו במגע עם הניאנדרטלים, בעוד שבני אדם לא-אפריקנים (ממוצא אירופי, אסייתי או אמריקני) כיום הם "בני תערובת" שאחוז קטן של אבותיהם הוא ניאנדרטלי (ובמקרה של ילידי אוסטרליה ומלנזיה גם דניסובי). ניתן לקבל מושג כללי על משמעותה של תרומה גנטית בגודל של 2% עד 3% אם זוכרים שאדם יורש 50% מהגנום שלו מכל אחד מהוריו. פירוש הדבר שהגנום של אדם היפותטי שאחד מ-32 הרב-רב-רב-סבים שלו היה ניאנדרטל "טהור" ושאר ה-31 היו בני-אדם מודרניים "טהורים", יכיל כ-3% של די-אן-איי ניאנדרטלי.
נערכים כיום מחקרים לזיהוי האללים הניאנדרטלים הספציפיים שהועברו לאנושות המודרנית. באמצעותם ניתן יהיה לענות על שאלה נוספת, האם ההכלאה התרחשה במזרח-התיכון בתקופת ה"דו-קיום" הארוכה בין שתי האוכלוסיות, או מאוחר יותר בתקופת ההגירה של בני-אדם מודרניים אנטומית לאירופה ולאסיה. במקרה הראשון צפוי שאירופאים ואסייתים בני-זמננו יהיו בעלי אותם אללים ניאנדרטלים, ואילו במקרה השני צפוי שהם יהיו בעלי אללים ניאנדרטלים שונים.
סיווג הניאנדרטלים.
ויכוח בין חוקרים מתנהל מאז שהתגלו הניאנדרטלים לראשונה במאה ה-19, האם יש לסווגם כמין נפרד בסוג האדם "הומו ניאנדרתלנסיס" או כתת-מין של האדם המודרני "הומו ספיינס". ויכוח זה נובע בחלקו מכך שאין הגדרה יחידה וחד-משמעית של מושג המין הביולוגי. באופן כללי, מינים נפרדים מוגדרים כאוכלוסיות שאינן מתערבות גנטית זו עם זו, אך בתחומי הפלאונטולוגיה לא ניתן לרוב לדעת אם אורגניזמים נכחדים יכלו להתרבות אלו עם אלו, ולכן מאובנים מוגדרים כמעט תמיד על סמך הבדלים מורפולוגיים ואנטומיים. נוסף על כך, גם אוכלוסיות המסוגלות עקרונית להעמיד בני-כלאיים פוריים לעיתים אינן מתערבות זו בזו כתוצאה ממחסומי רבייה שונים, למשל בידוד גאוגרפי או התנהגות שונה.
הראיות הגנטיות לרביית כלאיים פורייה בין בני-אדם מודרניים ובין ניאנדרטלים מחזקות את העמדה שיש לסווג את הניאנדרטלים כחלק מהמין ספיינס. עם זאת ניתן עדיין לטעון ששיעור רביית הכלאיים היה נמוך מאוד, כך ששתי האוכלוסיות אכן נשארו מבודדות יחסית. ידועים כיום מקרים נדירים של הכלאות פוריות גם בין אוכלוסיות נפרדות הנחשבות למינים שונים. לדוגמה, עורבים אפורים ("Corvus cornix") לעיתים מעמידים בני-כלאיים פוריים עם עורבים אירופיים ("Corvus corone") במקומות של חפיפה בין אזורי התפוצה שלהם, אך צאצאים אלו הם בעלי שיעור פוריות נמוך יותר, ולכן שתי האוכלוסיות נשארות נפרדות זו מזו. מודל גנטי חישב שהאחוז הנמוך של די-אן-איי ניאנדרטלי בבני-אדם מודרניים מצביע על שיעור קטן מאוד של מקרי העמדת בני-כלאיים, מה שמרמז על חוסר משיכה מינית בין האוכלוסיות, או על פוריות נמוכה של בני-הכלאיים, או שניהם.
הכחדת הניאנדרטלים.
החל מתקופה של כ-28 אלף שנה לפני זמננו לכל המאוחר, אין מוצאים עוד שלדים ניאנדרטלים או את שרידי התרבות המוסטרית האופיינית להם, אלא רק שלדים של בני-אדם מודרניים אנטומית עם תרבויות חומריות מתקדמות של התקופה הפלאוליתית העליונה. לפי הידוע כיום, הניאנדרטלים הם בני-האדם הקדמונים הבלתי-מודרניים האחרונים שנכחדו בעולם. בשנת 2004 אמנם ערערו חוקרים על מעמד זה כאשר תיארכו את האוכלוסייה המסווגת כהומו פלורסיינסיס באי פלורס שבאינדונזיה לתקופה של עד כ-13 אלף שנה לפני זמננו בלבד, אך בשנת 2016 תוקן תיארוך הממצאים בפלורס לתקופה של 50 אלף שנה לכל המאוחר, תיקון שמשיב לניאנדרטלים את מעמדם כבני-האדם הבלתי-מודרניים האחרונים שנכחדו.
במזרח התיכון ובאסיה, תיעוד ארכאולוגי של תקופת ההכחדה כמעט ואינו קיים. באירופה, שם התיעוד הארכאולוגי מפורט יותר, מצטיירת תמונה דרמטית – הניאנדרטלים נעלמו בד בבד עם הופעתם של בני-האדם מודרניים לראשונה שם, והתפשטותם המהירה ברחבי היבשת, ממזרח למערב, תוך כמה אלפי שנים בלבד, בין 45 אלף ל-35 אלף שנה לערך לפני זמננו. סמיכות המאורעות בזמן מעלה חשד ברור כי בני-האדם המודרניים הם האחראים להכחדת הניאנדרטלים, באופן ישיר או באופן יותר עקיף. חוקרים והוגי דעות עדיין דנים ומתווכחים מה היו היתרונות שהקנו עליונות כה מכרעת לבני-האדם המודרניים על הניאנדרטלים, מדוע הם רכשו אותם דווקא בתקופת זמן קצרה זו, והאם הם אכן ניצלו אותם לרצח עם וטיהור אתני שיטתי של האוכלוסייה הניאנדרטלית.
כדי להכריע בין הסברים שונים להכחדת הניאנדרטלים, דרוש תיארוך מדויק של הממצאים הארכאולוגיים, וכאן מתעוררים קשיים. אחת השיטות העיקריות שבשימוש, תיארוך רדיומטרי באמצעות פחמן-14, הותאמה רק לאחרונה לתיארוך תקופות עתיקות מכ-20 אלף שנה לפני זמננו. זמן מחצית החיים של פחמן-14 הוא 5,730 שנה בלבד, ופירושו שבשכבות עתיקות מכך בהרבה נותרים ריכוזים זעירים מאוד שלו בממצאים הארכאולוגיים, שקשה למדוד אותם במדויק. שכבות כאלו עלולות "להזדהם" בפחמן-14 החודר משכבות עליונות וחדשות יותר, והשגיאה הנגרמת מחמירה בריכוזים נמוכים מאוד. לכן התיארוך של אתרים ניאנדרטלים רבים באירופה נבדק שוב ושוב בשנים האחרונות, ותכופות מתוקן לתאריכים עתיקים יותר בכמה אלפי שנים. כתוצאה מכך נראה כיום שהכחדת הניאנדרטלים הייתה מעט קדומה ממה שסברו בעבר, ונמשכה זמן קצר יותר. הועלתה אף טענה שלאחר תיקוני התיארוך לא נותר אף מאובן ניאנדרטלי באירופה המתוארך בוודאות לזמן מאוחר מ-40 אלף שנה לפני זמננו, ואם כך ייתכן שהניאנדרטלים נכחדו עוד לפני בואו של האדם המודרני לאירופה. ואולם רוב הארכאולוגים בתחום סוברים שישנה חפיפה מסוימת בין שכבות ארכאולוגיות של ניאנדרטלים ובני-אדם מודרניים. האתר הארכאולוגי שנחשב כיום לאתר הניאנדרטלי המאוחר ביותר הוא מערת גורהם בגיברלטר, שבה נמצאו שרידי תרבות מוסטרית המיוחסת לניאנדרטלים (אך לא שלדי ניאנדרטלים עצמם) המתוארכים לגיל של 28 אלף שנה לפני זמננו. חוקרי האתר מעריכים שגיברלטר, בקצהו הדרומי של חצי האי האיברי, הוא אחד המקומות האחרונים באירופה שאליו הגיעו בני-אדם מודרניים בהגירתם מהמזרח.
ההשערות השונות שהועלו לסיבות ההכחדה אינן בהכרח סותרות זו את זו, וייתכן שהיו מספר גורמים להכחדה, שחשיבותם היחסית הייתה עשויה להשתנות באזורים ובזמנים שונים. ניתן לחלק את ההשערות הרבות לארבע קבוצות כלליות:
בתרבות הפופולרית.
האדם הניאנדרטלי הוא הבסיס לדמות הארכיטיפית של "איש המערות" (אנגלית: caveman) הנפוצה מאוד בתרבות, באמנות ובספרות המודרניות. איש המערות מוצג בדרך-כלל בדמות גבר אלים ושוביניסט עם אינטליגנציה נמוכה, מוצק ורב-כוח, בעל ראש קטן ונמוך-מצח, ותווי פנים קופיים. לעיתים קרובות הוא מצויר ביציבה כפופה וזרועות ארוכות משתלשלות, כמעט תמיד עם גוף שעיר משל אדם רגיל, שער ראש וזקן פרועים, לבוש בפרוות חיה ואוחז אלת עץ עבה וגסה.
בפועל רבים ממאפיינים אלו חסרים בסיס מדעי כלשהו, או אף שגויים בעליל: הניאנדרטלים היו בעלי מוח גדול כשל בני אדם בני ימינו, ורכס הגבות הבולט שלהם אינו מעיד על "קופיות". הם לא היו קרובים לקופי אדם יותר מאשר האדם בן ימינו, היציבה שלהם לא הייתה כפופה, ופרופורציות הגוף שלהם היו מודרניות. אין כל ראייה שהם היו שעירי גוף, או ששער ראשם וזקנם (אם אמנם היה להם זקן) היה פרוע. אין ראיות שהחברה הניאנדרטלית הייתה אלימה או שוביניסטית יותר ממרבית החברות האנושיות לאורך מרבית ההיסטוריה, ואף אלת עץ לא התגלתה מעולם באתר ניאנדרטלי כלשהו.
לארכיטיפ איש המערות יש לפחות שני מקורות: בסוף המאה ה-19 ובתחילת המאה ה-20, כאשר מדע הפלאואנתרופולוגיה וחקר האבולוציה של האדם עדיין היו בחיתוליהם, היו חוקרים כמו גם חובבים ואמנים שביקשו לראות את האדם הניאנדרטלי כאבי האדם המודרני, ולכן שחזרו אותו עם מאפיינים קופיים כמו גוף שעיר ויציבה כפופה. במידה רבה אשם בכך השחזור השגוי של "האיש הזקן מלה שאפל", שלד הניאנדרטל השלם יחסית הראשון שהתגלה, אשר השתייך לפרט קשיש מאוד ונכה. אך האנתרופולגית ג'ודית ברמן עמדה על כך שרבים מן המאפיינים הארכיטיפיים של "איש המערות" הועתקו ישירות על ידי אמנים וסופרים מארכיטיפ שקדם בהרבה לתגליות המדעיות: "אדם הפרא" (אנגלית: wild man, גרמנית: wildermann) או "אדם היער" (sylvan man), יצור מיתולוגי בפולקלור של עמים אירופים, אשר תואר בדרך-כלל כבעל גוף שעיר, שער ראש וזקן פרועים, לבוש פרווה וחמוש באלת עץ.