Företagets ägare sa att behållarna i Santos var fulla av syra och ett desinfektionsmedel som kom i kontakt med regnvatten och orsakade en reaktion.
Borgmästaren sa att minst 66 personer fördes till sjukhus med andningssvårigheter.
Myndigheterna sa att branden hade kontrollerats men att det fortfarande finns rök i området.
Lastterminalen och de närliggande husen evakuerades och invånarna ombads stanna inomhus.
Containerterminalen drevs av Localfrio, ett logistikföretag, i Guaruja, ett område på östra sidan av Santos, i delstaten Sao Paulo.
En taleskvinna för företaget, som exporterar kemikalier som används för kylning och allmän last, sade att behållarna var fyllda med klorsyra och natriumdiklorisocyanurat - ett rengöringsmedel och desinfektionsmedel.
Brandmän sa att regnvatten hade sipprat in i behållarna och orsakat en kemisk reaktion.
Lokal borgmästare Mario Antonieta de Brito bad folk att hålla sig borta från regnet som kunde "innehålla kemiska element som kan bränna huden".
Detta är det senaste i en rad nyligen inträffade incidenter med kemiska företag i Brasilien:
En kemisk explosion vid ett lastlager i Brasilien har spridit giftig gas över landets största hamn.