בשנת 1843, החלו הספרדים לשוב אל האי והשפעת הבריטים החלה לדעוך, ובשנת 1855 מלך ספרד ביטל לחלוטין את הזכויות הבריטיות על האי. הספרדים הגלו אל האי מספר מאות של אפרו-קובנים, בנוסף לעשרות מלומדים ופוליטיקאים ספרדים שנחשבו עוינים לשלטון. בנוסף, ספרד הגלתה אל האי כ-218 מורדים מהמהפכה הפיליפינית, מתוכם שרדו באי רק כ-94. בשנים 1923–1930, חבר הלאומים חקר את העברתם של מהגרי עבודה בין ליבריה למושבה הספרדית בפרננדו פו. על אף שחבר הלאומים התרכז במארגני ההעברה שבליבריה, בחינה מדוקדקת גילתה כי המעסיקים בפרננדו פו יצרו בפועל עבודת כפייה. בשלהי המאה ה-19, חקלאים באי משבט הקריו (קבוצה אתנית מסיירה לאון), חדלו בייצור שמן דקלים והחלו בייצור קקאו. התלות שלהם במהגרי עבודה והתחרות העולה מהשוק האירופאי גרמו למשבר כלכלי בתחילת המאה ה-20. החקלאים אמנם עצרו את עבודתם, אך לא הצליחו לשלם את משכורתם של מהגרי העבודה, מה שיצר בפועל מצב של עבדות. בעקבות הפרשה, ליבריה אסרה על תושביה להגר לצורכי עבודה. במהלך מלחמת ביאפרה, ארגוני זכויות אדם השתמשו באי כבסיס למשלחות הומניטריות לביאפרה.