Det gikk dårlig med Dunants forretninger i Algerie. Dette skyldtes delvis at han viet sine humanitære visjoner det meste av sin oppmerksonhet. En konkurs i banken i april 1867 gjorde skandale, og Dunant ble involvert. Han ble tvunget til å slå seg selv konkurs og ble deretter dømt av handelsretten i Genève 17. august 1868 for villedende manøvrer under konkursbehandlingen. Familien og mange av vennene hadde investert sterkt i bedriften hans. Dette førte til at de ble sterkt trukket med i hans tap. Folkesnakket blant de nøysomme og strengt kalvinistiske innbyggerne i Genève førte videre til at han gradvis måtte forlate komitéen. 25. august 1867 trakk han seg som sekretær og 8. september var han helt ute av komitéen. Moynier, som ble president i komitéen i 1864, spilte en stor rolle i Dunants eksklusjon.