Sprängämnen lyste upp himlen och höga smällar hördes när branden tog tag på 05:00 BST på Bitterne Road West.
Hem och fastigheter inom 100 meter (328ft) från branden på platsen för Södra Fyrverkerifabriken och Blomsterfabriken evakuerades.
Ingen skadades. Omgivningsvägarna förväntas förbli stängda över natten.
Mer än 70 brandmän i 13 motorer och stödfordon hjälpte till att få elden under kontroll.
Hampshire Fire and Rescue Service gruppchef Howard Watts sade: " Det var en utmanande scen när vi kom - med alla explosioner vi inte kunde komma för nära branden.
"Vårt främsta intresse att se till att alla i området var säkra och att se till att ingen var i byggnaden."
Vid höjden av branden vällde en plym av svart rök över området.
Invånaren Jill Sainsbury sa att hon hörde en "amighty bang" och såg olika färger visas i himlen runt 05:00.
Hon sade: " Vi trodde att den skulle komma från floden tills vi såg en massiv rökplym komma från Fyrverkerifabriken nära blomsterfabriken.
Fyrverkeriet hade varit igång i minst en timme - det har slutat nu - men det är klart att rökplymen fortfarande strömmar över floden och staden.
Ryan Gregory, som bor i närheten, sa att han först trodde att smällarna var skott.
Han sade: " Jag tittade ut genom fönstret för att se att det var mycket rök. Genast visste jag att det var från Fyrverkerifabriken, men jag förväntade mig inte att det skulle gå upp i elden som det gjorde."
A3024 Bitterne Road West och Bitterne Bridge har stängts åt båda hållen medan brandmän hanterar branden.
Southampton stadsfullmäktige sa att det hade lyft vägtullarna på Itchenbron tills vägen öppnas igen.
Myndigheten sade att nedläggningarna av vägarna förväntades förbli på plats över en natt.
Southern Water varnade också för den omfattande användningen av brandposter i området hade gjort att en del invånare hade dåligt tryck eller tillfälligt förlorat sin vattenförsörjning.
Bitterne Manor Primary School på Quayside Road stängdes också.
Ett vilocenter har inrättats vid Ascension Centre i Thorold Road för 60 invånare som har varit tvungna att lämna sina hem.
Rådet bekräftade att tillstånd att lagra fyrverkerier hade utfärdats till Southern Firework Factory Ltd i september.
En talesman sade förvaringsförhållandena i lokalerna "uppfyller de relevanta villkoren".
"Vid tidpunkten för licensansökan var lokalerna rent kommersiella utan bostadsfastigheter. Som sådan licens tillät 250kg (550lbs) netto explosiva innehåll att lagras i en stålbehållare säkrad mot obehörig åtkomst," sade han.
En stor eldsvåda bröt ut i en butik i Southampton och satte igång dussintals fyrverkerier som förvarats inuti.