Nick Palmer, som förlorade Nottinghams plats 2010 till konservativa Anna Soubry, sa att han ville ha "mer garantier" innan han skulle stödja det.
Soubry sade att hon var "förbluffad" för att höra att han inte stödde den "fantastiska möjligheten" för det lokala området.
De talade vid en livedebatt på BBC:s politiska utställning på söndagen, där bland annat De gröna och Lib Dems deltog.
Palmer, som tjänstgjorde som valkretsens parlamentsledamot från 1997 till 2010, sade: " Anledningen till att jag skulle vara beredd att rösta emot det, om vi inte får de försäkringar vi behöver [är], har vi just sett vad som händer med spårvagnsprojektet, som vi alla tre stödde, det har orsakat två års kaos."
Soubry sade att fördelarna med HS2 inte får underskattas.
"Jag är helt förvånad över att höra Labourkandidaten inte är för Toton Sidings, att få East Midlands nav. Det här är en fantastisk möjlighet."
HS2-rutten förbinder London med Birmingham, där den delar sig för att bege sig norrut till Leeds och Manchester.
Den planerade stationen kommer att vara öster om Toton Sidings med höghastighetståg som kan ta sig till och från London om 51 minuter.
I en av de snävaste marginalerna i East Midlands driver transporterna in andra frågor i den långsamma vägen.
Den labour-drivna stadsfullmäktige meddelade fas två av Nottingham spårvagnen tillbaka 2011 men det har beset av förseningar och nu kör väl efter schemat. Det har också blivit en viktig fråga för många väljare.
Broxtowe är ett klassiskt Labour-Conservative slagfält. Tory försvarsminister Anna Soubry hade en majoritet på bara 389 vid det senaste valet och Labours Nick Palmer ifrågasätter återigen platsen.
Stan Heptinstall, liberaldemokratisk kandidat, sade: "Jag är helt för det [HS2] eftersom det är rätt väg att gå.
"Du åker till Tyskland, du tittar på deras infrastruktur, du har dessa fantastiska vägar, dessa fantastiska järnvägssystem, ICE tåg, det är ett nöje."
David Kirwan, grön kandidat, sade: "Det är fel typ av investering och det är intressant att höra att Nick har kommit ut idag för att säga att han är emot det.
"Det är det senaste i en rad arbetsmarknadspolitik som Nick är emot. Han är inte stående som en oberoende riksdagsledamot han står som en Labour MP."
Övriga kandidater finns även i Broxtowe: Ray Barry (Justice for Men and Boys) och Frank Dunne (UKIP).
Broxtowes Labourkandidat har sagt att han är beredd att rösta emot sitt parti om HS2-järnvägsprojektet om det väljs.