Avdelningen, som har 247 anställda, sade att den planerar att stänga kontoret till 2018 men har inte sagt hur många, om någon, uppsägningar det kan bli.
Det sade att beslutet syftade till att minska kostnaderna genom att skapa ett kombinerat centralt huvudkontor och politiskt centrum i London.
PCS, facket, säger att ytterligare 100 jobb i Storbritannien hotas av flytten.
Permanent sekreterare Martin Donnelly sa att flytten var avsedd att "modernisera sättet vi arbetar på, minska driftskostnaderna och leverera en enklare, mindre avdelning som är mer flexibel och lyhörd för intressenter och företag.
– Beslutet att stänga Sheffield 2018 har inte tagits lättvindigt.
"Vi kommer att ge omfattande stöd till alla dem som står inför en potentiell förändring eller förlust av arbete."
Han sade dock att avdelningen planerar att skapa "ca sex affärscentra" över hela landet.
Avdelningen har för närvarande cirka 2 500 anställda totalt på 10 orter.
Mark Serwotka, generalsekreterare för public and commercial Services Union, sade: " Affärsavdelningen förväntas leda vägen för att hjälpa lokala ekonomier att växa efter recessionen, men den drar sig tillbaka från städer över hela landet.
"Vi accepterar inte behovet av att dessa kontor stängs och att arbetstillfällen äventyras och kommer att motsätta sig dessa åtgärder."
Unionen har inte sagt var de övriga 100 jobben kan gå förlorade.
Julie Dore, ledare för Sheffield stadsfullmäktige, beskrev planen som "appelling" och sade att hon skulle skriva till utrikesministern för att "göra det klart att detta är oacceptabelt".
Nick Clegg, liberaldemokrat för Sheffield Hallam, sade att beslutet "flyger direkt mot norra Powerhouse agenda".
Nästan 250 arbetstillfällen har äventyrats efter att avdelningen för näringsliv, innovation och kompetens meddelat att den kommer att stänga sitt kontor i Sheffield.