Trycket har ökat på Shaun Wright, som var ansvarig för barntjänster i Rotherham från 2005 till 2010, att avgå i kölvattnet av en fördömande rapport.
Rapporten fann minst 1.400 barn i staden utnyttjades sexuellt av främst pakistanska kulturarv kriminella gäng mellan 1997 och 2013.
Mr Wright sa att han var den lämpligaste personen att inneha ämbetet.
Jack Dromey sa till världen ikväll på Radio 4: "Shaun bör gå och vi är helt klara om han inte går med på att avgå han kommer att avstängas från Labourpartiet i morgon bitti."
Wright måste "utöva sitt samvete och ta sitt ansvar", sade Bruno Dromey.
Högre politiker från andra partier har också uppmanat Wright att avgå från sin roll som polis- och kriminalkommissarie (PCC).
Home Secretary Theresa May sa att han borde "höra samtal" för att avgå.
Hon sa att det inte var hennes jobb som hemsekreterare att anställa och avskeda PCC.
Hon tillade: " Jag tror att han har verkliga frågor att besvara. Jag tycker att han under omständigheterna bör lyssna till dessa uppmaningar."
BBC Newsnights Laura Kuenssberg twittrade tidigare att Wright sades vara hemma, "samråd med sin familj om sin framtid".
Sarah Champion, arbetarledamot för Rotherham, sade Mr Wright "behöver stå upp och räknas för vad som hände under hans vakt".
Andra seniora partipersoner, inklusive skugghemssekreterare Yvette Cooper, skuggkansler Ed Balls och skuggborgsminister Chris Bryant, gick också med på att uppmana honom att avgå.
Wright bad offren om ursäkt men insisterade på att han inte hade någon kunskap om den "industriella omfattningen" av barnmisshandel när han var ledamot i Labour Council i staden South Yorkshire.
En rapport på uppdrag av rådet publicerades på tisdagen och avslöjade den massiva nivån av missbruk i Rotherham.
Utredningsgruppen noterade att rådspersonalen var rädd för att bli kallad "rasist" om de fokuserade på offrens beskrivningar av majoriteten av dem som misshandlade dem som "asiatiska" män.
1 400 personer
barn misshandlades, 1997-2013
1/3 av offren var redan kända för socialtjänsten
157 rapporter om sexuellt utnyttjande av barn till polisen 2013
10 åtal väcktes mellan 2013 och april 2014
Wright berättade dock för BBC att problemets omfattning i Rotherham "kom som en överraskning".
"Om jag hade vetat då vad jag vet nu kunde jag ha gjort mer", sade Wright.
"Som vald ledamot kom jag in i denna roll för att göra skillnad. I varje skede har jag gjort mitt yttersta för att skydda dessa människor.
"Jag har tagit lärdom på det kontoret och fört dem att bära i min nya roll med South Yorkshire Police.
"Jag tror att jag är den mest lämpliga personen att hålla detta kontor vid denna aktuella tid," sade han.
Rotherham Borough Council ledare Roger Stone slutade efter offentliggörandet av rapporten, som beställdes av rådet och detaljerade gäng våldtäkter, grooming, trafficking och annan sexuell exploatering i stor skala i South Yorkshire staden.
Ras, rädsla och övergrepp i Rotherham
Staden konsumeras av chock och avsky
Men krav på ytterligare avskedanden har ökat i takt med att uppmärksamheten nu riktas mot andra vid rodret av lokala tjänster under tiden för övergreppet.
Det har visat sig att inga rådsanställda skulle ställas inför disciplinära åtgärder, som myndighetens verkställande direktör Martin Kimber sade att det inte fanns tillräckligt med bevis för att väcka åtal.
Detta trots att författaren professor Alexis Jay i rapporten drog slutsatsen att det hade skett "blatanta" kollektiva misslyckanden av rådets ledning.
Tidigare barnminister Tim Loughton berättade för BBC: s Newsnight att varje socialarbetare som är inblandad i misslyckanden i Rotherham "har absolut ingen plats" i vården av barn.
Den konservativa parlamentsledamoten hävdade att det var ett "gemensamt tema" i sexmissbruksskandaler att "ingen betalar konsekvenserna".
En talesman för det konservativa partiet sade att regeringen "inrättade en oberoende undersökningsgrupp bestående av experter på juridik och skydd av barn för att överväga om offentliga organ - och andra icke-statliga institutioner - har tagit sin omsorgsplikt på allvar för att skydda barn från sexuella övergrepp".
Iain Watson, politisk korrespondent för BBC
Skuggkansler Ed Balls säger att Labourpartiet har "kommunicerat" till Shaun Wright att han borde avgå - men enligt lagstiftningen som skapade PCC kunde han inte tvinga honom att gå.
Medan PCCs kan avfyra chefskonstapeler, finns det mycket snäva skäl för deras egen uppsägning.
Inrikesministeriet säger att det är de lokala väljarna som ska ställa dem till svars.
Färre än 15 procent av de röstberättigade deltog i valet 2012 i South Yorkshire - även om den aktuella kontroversen kan väcka mer intresse.
Lokala polis- och brottspaneler inrättades för att "ge kontroll och balans" och kan granska sina åtgärder.
Men dessa paneler kan endast upphäva en PCC om de åtalas för ett brott som innebär en fängelseperiod på mer än två år.
Eftersom han inte har begått något brott, kan Shaun Wright helt enkelt vägra att gå.
Labour kunde inleda disciplinära förfaranden för att få partiet i vanrykte, men varken Ed Miliband eller regeringen kunde hindra Wright från att fortsätta som oberoende PCC.
Ett av offren för Rotherham, som nu är 24 år, berättade för BBC's Today-programmet att hon hade blivit putsad av män från 12 års ålder.
Solicitors Switalkskis bekräftade i tisdags att de agerade för 15 misshandelsoffer som stämde South Yorkshire Police and Rotherham Council för att de inte skyddade dem.
Karen Froggatt, chef för välgörenhetsorganisationen Offer Support, sade till BBC: " Detaljerna i den rapporten var verkligen fruktansvärda och det är uppenbart att några allvarliga misstag gjordes i Rotherham.
"För offren att inte ha trotts och faktiskt ha behandlats med förakt och förakt är bara skrämmande och bara gör traumat som de har gått igenom en miljon gånger värre."
Flera politiska motståndare gick också med i uppmaningarna och sade att Wrights ståndpunkt som PCC nu var ohållbar.
Ledaren för Lib Dem-gruppen i Sheffield stadsfullmäktige, Colin Ross, sade: "Lessons måste läras och de ansvariga måste ställas till svars.
"Shaun Wright var den fullmäktigeledamot som ansvarade för barntjänster vid Rotherham Council och satt också på Authority of South Yorkshire Police när båda organisationerna kände till graden av sexuellt utnyttjande av barn, men valde att inte göra något åt det.
"Det är svårt att se hur lokalbefolkningen kan ha förtroende för honom att fortsätta som vår PCC."
En medlem av South Yorkshires polis- och brottspanel, som granskar PCC, har också krävt Wrights avgång.
UKIP:s fullmäktigeledamot Caven Vines, sade: " För mig skulle han aldrig ens ha ställt upp för jobbet i första hand.
"Han borde gå. Han borde ha gått genast."
Wright har tidigare bett om ursäkt för att Rotherham-rådet misslyckades medan han var i dess kabinett 2005–2010.
Den biträdande ledaren för Rotherham Council, Labour's Paul Lakin, sade att han inte skulle avgå från myndigheten.
"Jag har varit i rådet sedan 1999, och jag är en av de fullmäktigeledamöter som har gått igenom detta", sade han.
"Jag kan kategoriskt säga att tills jag kom in i barnens tjänster 2010 var jag inte medveten om djupet och bredden av barns sexuella exploatering i Rotherham."
En labourfrontbencher har sagt att partiet kommer att avbryta South Yorkshires PCC om han inte slutar på morgonen.