Han takket nei til utnevnelse til erkebiskop av Lyon, og bad i stedet om å bli sendt til Alger som da nettopp var blitt elevert til erkebispesete. Lavigerie ankom Afrika den 11. mai 1868, da en stor hungersnød var begynt å gjøre seg gjeldende, og han begynte i november å samle sammen foreldreløse barn til landsbyer.