De første årene var det vanskelig å holde kolonien i live. Dødeligheten blant europeerne var høy. Mange av nybyggerne var fanger som ble forvist til øyene. I 1490 deporterte kong Johan II flere hundre tvangsdøpte barn av jødiske familier til øyene. I tillegg til portugisere, deltok spaniere, franskmenn og genovesere i koloniseringen. Blant de første nybyggerne var det også hvite slaver og minst én fri svart. De fleste nybyggerne var deporterte fanger.