אולם, שחרור עבדים היה בעייתי בעיני בעלי עבדים. רבים לא האמינו כי לאפריקאים חופשיים יש מקום באמריקה וחשבו שעצם קיומם של שחורים חופשיים מערער את שיטת העבדות. זאת כיוון שהם היו מודאגים מכך שנוכחותם של שחורים חופשיים תעודד או תעזור לעבדים השחורים שלהם לברוח או למרוד.
מצבם של השחורים בארצות הברית הורע בעקבות חוקים וגלי גזענות שהתפתחו אט-אט כלפיהם; חוקי ג'ים קרואו הם חוקים שנחקקו לאחר מלחמת האזרחים בארצות הברית שמטרתם הייתה להקנות לשחורים מעמד "נפרד אבל שווה". נפרד אבל שווה היוותה דוקטרינה שמטרתה הייתה לקיים את עקרון השוויון גם כאשר ישנה הפרדה בין שחורים ללבנים. בפועל, הפרדה זו גרמה ליחס נחות כלפיהם ומעמדם נפגע כמעט בכל אספקט בחייהם, בין היתר דרך הפרדה בבתי ספר, פארקים, ספריות, אוטובוסים ועוד.
הגזענות ושנאת השונה הובילו למעשי אלימות אכזריים מצד אזרחים לבנים כלפי השחורים בדרום. בשנת 1819 תועדו כ-25 מהומות, בהן נהרגו ונפצעו רבים. ההתפרצויות הגזעניות הופיעו בדרך כלל בערים ובאזורים עירוניים אליהם כפריים היגרו. היותם אפריקאים-אמריקאים הביאה להפלייתם ושלילת זכויותיהם מצד לבנים בעיקר במדינות בהן העבדות הייתה נהוגה. על כן, נראה אפוא, כי גם לאחר ביטול העבדות בעקבות מלחמת האזרחים בארצות הברית, עדיין הייתה התנגדות רבה כלפי שילובם החברתי, תרבותי ופוליטי של העבדים המשוחררים.
בעקבות אירועים אלו, למרות היות אנשי תנועת "החזרה לאפריקה" מונעים על ידי גורמים שונים כגון לאומיות שחורה קלאסית, הסיבה המרכזית בעקבותיה החלו לפעול למען עזיבת אמריקה היא דיכויים על ידי הלבנים. רבים מהעבדים רצו לעזוב בעקבות ההפליה והאמונה כי האוכלוסייה השחורה לא תשיג לעולם שוויון אמיתי, ושיוועו לארץ אשר בה יוכלו לעצב את זהותם הלאומית השחורה. נראה כאילו נוצר פרדוקס- בעוד שאירופאים רבים הגיעו לארצות הברית בשנת 1890 כדי להגשים עצמם כלכלית ופוליטית ולהיות חופשיים, אפרו-אמריקאים רבים (בעיקר מארקנסו) פעלו כדי לצאת מחוץ לגבולות ארצות הברית, לכיוון ליבריה שבאפריקה, שסימלה עבורם הזדמנות לחיים טובים יותר.
תנועת החזרה לאפריקה פעלה בעיקר באזור הדלתא של מיסיסיפי שבדרום ארצות הברית, כיוון שבאזור זה האוכלוסייה השחורה חוותה את האפליה הרבה ביותרהתנועה קיימה את הכנס הראשון שלה בשנת 1877, שם נקבעו חוקת התנועה ותוכניותיה, וכן מונו נציגים שיסעו לליבריה לשם רכישת קרקעות מתאימות וכן לשם הסדרת המעבר של המהגרים לאפריקה. בין הנציגים נבחר גם אנתוני ל. סטנפורד, שהיה אחת מדמויות המפתח בתנועה ואף נחשב בהמשך כמנהיג התנועה. ב-1878 הפליגו שני הנציגים מניו-יורק לליבריה. לאחר הסיור בליבריה שנמשך כחודשיים, הם חזרו לארצות הברית כדי להגיש דיווחים, בין היתר גם לתנועת ה- ACS. תנועת ה-ACS הופעלה על ידי לבנים מאמריקה ומטרתה הייתה להחזיר את השחורים לאפריקה, אולם ממניעים השונים ממניעי תנועת החזרה לאפריקה, שהיו בעיקר מניעים גזעניים, בין היתר בעקבות חשש מאיום העבדים השחורים המשוחררים על תעסוקת הלבנים, וחוסר אמונה כי שחורים יצליחו להשתלב בחברה האמריקאית הלבנה. שני הנציגים תמכו בפרויקט המעבר לליבריה. הם תיארו את המקום כמושבה משגשגת ומצאו שהאזרחים והמהגרים ברפובליקה האפריקאית היו משגשגים ומרוצים מסביבתם, ואף דיווחו כי מצבם הבריאותי במסע היה טוב.
עם זאת, סטנפורד טען כי חייבת להיות התעוררות גדולה יותר בקרב האוכלוסייה השחורה משום שהמהגרים יזדקקו לסיוע. הוא המשיך וטען כי עקב העבדות והשלכותיה הכלכליות על השחורים, השחורים לא יהיו מסוגלים לממן לבדם את הגירתם לאפריקה וכי היה צורך במימון חיצוני נוסף של ה-ACS. לכן, במסגרת פועלו, סטנפורד פנה ל-ACS לבקשת סיוע כספי. מימון נוסף להגירת שחורים לאפריקה הגיע מנוצרים עשירים, אשר חשו מחויבות מוסרית למצבם של השחורים המשוחררים אשר רבים מהם התנצרו.
לבסוף, שתי משלחות של שחורים יצאו לאפריקה. ב-1880, הגיעו המהגרים השחורים מארצות הברית לאפריקה לאחר מסע של שלושים יום. המסע לאפריקה היה ארוך ומסוכן אבל ליבריה, הפכה לביתם החדש. הם הקימו בתים וחוות ובנו בתי ספר וכנסיות. וכך, פליטי ארצות הברית שהגיעו לאפריקה עזרו ליצור את הרפובליקה המודרנית של ליבריה. לאחר זמן קצר פעילות התנועה הפסיקה את פעילותה, אולם חידשה אותה בשנית במאה העשרים.
התבססות התנועה מחדש.
השחורים אשר נשארו באמריקה והיגרו לאזורים צפוניים, עדיין חוו תסכולים והתמודדויות עם החברה העירונית. על אף רצונם של השחורים להשתקע, הם נשארו ממוקמים בתחתית ביחס ללבנים באזור, הן מבחינה כלכלית והן מבחינה חברתית. על רקע זה, התבסס מעמדה של התנועה מחדש בשנת 1920, הפעם על ידי מרקוס גארבי.
מרקוס גארבי היה מנהיג זכויות שחור, יליד ג'מייקה. גארבי האמין כי אין אפשרות לשחורים ולבנים לחיות יחד בהרמוניה. גארבי היה שייך למעמד הפועלים, והקיצוניות בה נקט פנתה אל רבים מן השחורים העניים יותר ממדינות ארצות הברית. הוא נתקל בהתנגדות רבה מצד לבנים אשר דחו את רעיונותיו. חלק מרכזי ממשימתו היה להנחיל גאווה גזעית בשחורים, על בסיס השורשים האפריקאים המשותפים להם. על כן, שם לעצמו למטרה להקים ממשלה לשחורים באפריקה. הוא התנגד לשלטון הקולוניאלי והאמין שאפריקה צריכה להישלט על ידי אפריקאים ולא על ידי לבנים. על כן, גארבי עודד את כל האנשים אשר מוצאם אפריקאי לחזור לאפריקה. הוא מימן חברת הסעות לאנשים שחורים בלבד שנקראה "The Black Star Line", על מנת לסייע בהעברת שחורים לאפריקה. אולם, חברה זו נכשלה, והוא הואשם בהונאה ונכלא למשך כשנתיים כשלאחריהן נשלח לג'מייקה. מאחר שכמעט שלא היה בסיס להאשמות נגדו, שוער כי הרשעתו קודמה על ידי מניעים פוליטיים של לבנים שהתנגדו לפעולותיו. נראה אפוא כי גארבי התקבל בהתנגדות רבה, הן מצד לבנים אשר דחו את העליונות שייחס לשחורים, והן מצד מנהיגים שחורים אשר התנגדו להגירת שחורים לאפריקה וטענו כי לשחורים כן יש מקום בארצות הברית. גארבי המשיך בפעולותיו למען שחורים עד מותו בשנת 1940. על אף היותו דמותו שנויה במחלוקת, פעולתו לקידום עצמאות וגאווה בקרב שחורים הרשימה והותירה רושם על מנהיגי זכויות אזרח רבים כמו מרטין לותר קינג ועוד אחרים.
תנועת ההתיישבות האמריקאית.
בשנת 1816 נוסדה תנועת ה- ACS) American Colonization Society) תנועה אמריקאית מטעם האוכלוסייה הלבנה שמטרתה הייתה להחזיר שחורים חופשיים ועבדים שחורים בחזרה לאפריקה. התנועה נוסדה על ידי רוברט פינלי, אדם לבן מניו ג'רזי. רוברט פינלי התנגד ליחס כלפי העבדים ודרש מימון ממשלתי עבור פיתוח התיישבות בחוף המערבי של אפריקה עבור השחורים המשוחררים שהתגוררו אז בארצות הברית. פינלי הרגיש כי בעת שישוחררו השחורים מעבדות הם יוכלו להתפתח ובכך תמוגר העבדות. נוסף על כך, קיווה כי ההתיישבות תמשוך כמה שיותר שחורים לעזוב את אמריקה ולעבור לאפריקה. בניגוד לתנועת החזרה לאפריקה, בה רוב חברי הקבוצה היו שחורים, רוב חברי ה-ACS היו לבנים. חלקם היו כמרים ואנשים דת, וחלקם בעלי עבדים. הכמרים ואנשי הדת האמינו בביטול העבדות, ואילו בעלי העבדים חששו ששחרור העבדים השחורים ישמיד את הכלכלה האמריקאית. ההסכמה ביניהם הייתה כי אנשים שחורים לא יוכלו להשתלב בחברה האמריקאית הלבנה ועל כן יש להעביר את העבדים המשוחררים ואת השחורים החופשיים בחזרה לאפריקה. לפעילות התנועה, אם כך, היו מספר מניעים. ראשית, אזרחים שחורים וצאצאיהם, נתקלו באפליה נרחבת בארצות הברית של ראשית המאה ה-19. לבנים תפסו אותם בדרך כלל כנטל על החברה וכאיום על העובדים הלבנים כיוון שהם הביאו לקיצוץ השכר. חלק בולט מחברי התנועה האמינו כי האפליה תגרום לכך ששחורים לא ישיגו שוויון בארצו הברית, ולכן עדיף יהיה להם לחזור לאפריקה ולהקים שם חברה משל עצמם. רבים מבעלי העבדים חששו כי נוכחותם של השחורים החופשיים מאיימת על עסקי העבדות בדרום. התוכנית של התנועה התמקדה ברכישה ושחרור עבדים שחורים, תשלום על העברתם לחוף המערבי של אפריקה ומתן סיוע לאחר הגעתם לשם. הממשל הפדרלי מימן חלק נכבד מפעילות התנועה, בין היתר סייע לה לרכוש את "קייפ מסוארדו"- אזור בחוף המערבי של אפריקה אשר בהמשך ב-1822 הפך ל"ליבריה". בשנת 1830, הממשלה הפסיקה את התשלומים שסיפקה לתנועה, והגורמים אשר מימנו אותה היו סניפים מקומיים וממלכתיים וכן כנסיות. בין 1820 ל-1831, כ־3000 מהגרים שחורים לערך עברו להתיישבות של התנועה בליבריה. אולם באמצע שנות השלושים, דיווחים שליליים של מהגרים קודמים במקביל לשיפור התנאים הכלכליים עבור שחורים בארצות הברית, הביאו לירידה ביכולותיה של התנועה לגייס מהגרים חדשים. לאחר כמעט 78 שנות פעילות, אפשרה תנועת הACS את מעברם של 16,424 שחורים להתיישבות בליבריה.
מגמות נוספות.
את המחשבה והרעיון להעביר שחורים חזרה לאפריקה חלק גם פאול קופי, שהיה אדם שחור, נוצרי אדוק ואיש עסקים עשיר שפעל למען שוויון זכויות לשחורים. הוא הקים את בית הספר המשולב הראשון במסצ'וסטס. קופי האמין כי אפשרויות ההתפתחות של השחורים בארצות הברית היו מוגבלות, ולכן החל לפעול להעברת שחורים בחזרה לאפריקה.