En källa nära Gupta sade att diskussionerna inte hade varit konkreta, men han skulle vilja ha ytterligare samtal när han flyger tillbaka till Storbritannien i början av nästa vecka.
Regeringens hjälp med energikostnader och modernisering av anläggningar är frågor som han vill diskutera, enligt källan.
Regeringen avböjde att kommentera.
Det kommer som regeringen sade att det var redo att erbjuda ekonomiskt stöd för att "knäppa en köpare" för att rädda stålverken, där mer än 4.000 arbetstillfällen är i riskzonen.
Tata Steel - som förra veckan meddelade att företaget sålde sina förlustbringande brittiska företag - har sagt att det kommer att stänga anläggningen om det inte hittar en köpare.
Enligt rapporter har den tyska ståltillverkaren ThyssenKrupp också varit en potentiell köpare.
Tata sysselsätter direkt 15 000 arbetstagare i Storbritannien och stöder tusentals andra, över anläggningar i Port Talbot, Rotherham, Corby och Shotton.
Det sades att det var "engagerat att driva en meningsfull process för att utforska strategiska alternativ" för sin brittiska verksamhet.
Vad är det för fel på Storbritanniens stålindustri?
Tata Steel UK: Vilka är alternativen?
Är det Kina som bär skulden för stålkatastrofer?
Guptas råvaruföretag Liberty House har redan räddat flera brittiska stålverk.
En källa nära affärsmannen sade att han var "definitivt intresserad" av Tatas "nedströms" verksamhet och tittade på alternativ som skulle hålla flytande ståltillverkning i Storbritannien.
BBC:s politiska korrespondent Carole Walker sade att Gupta ville diskutera eventuell statlig hjälp att ersätta Port Talbots traditionella masugnar med moderna elektriska ljusbågsugnar och energikostnader.
Källan sade att det inte skulle vara ett öppet åtagande, skulle skydda de flesta av jobben på platsen och skulle kunna göra det mer lönsamt på lång sikt.
Ytterligare befrielse från koldioxidskatt är en annan viktig fråga, enligt källan.
På söndagens Andrew Marr show sa affärsminister Sajid Javid att han inte skulle utesluta något, men han vidhöll regeringens åsikt att nationaliseringen inte var lösningen på krisen.
Den vill hitta en kommersiell köpare för Port Talbot anläggningen, säger att detta kommer att erbjuda en "långsiktig, livskraftig framtid".
Javid meddelade att ministrarna arbetade med planer för att minska energikostnaderna och ta på sig en del av pensionsåtagandena för att göra ett köp mer attraktivt för investerare.
Tata Steel har sagt att det inte finns någon "fast tidslinje" för försäljningsprocessen men betonade att det behövs brådskande för att undvika "en lång period av osäkerhet" anställda och kunder.
Det sade försäljningsprocessen inleddes den 30 mars och tillade: "Tata Steel Europe håller på att slutföra utnämningen av rådgivare och kommer snart att inleda en global process för att söka en investerare för den brittiska verksamheten."
Labour säger att regeringen bör vara beredd att ta fabriken i Port Talbot - som Tata säger förlorar 1 miljon pund per dag - till offentligt ägande för att skydda sin framtid tills en köpare kan hittas.
Skuggkansler John McDonnell föreslog att regeringen kunde behålla en andel i fabriken efter en försäljning.
Han har också uppmanat ministrarna att påskynda infrastrukturprojekt, som HS2, för att stödja stålindustrin och uppmuntra investeringar.
Javid - som kritiserades för att vara i Australien under Tatas krismöte i Mumbai förra tisdagen - medgav att Tatas tillkännagivande hade fångat regeringen med överraskning
Han sade att regeringen hade vetat "för några veckor sedan" att Tata höll på att se över sina brittiska operationer och övertalade den att inte gå vidare med den omedelbara stängningen av Port Talbot - men dess beslut att sälja av sina brittiska tillgångar hade gått "mycket längre än vi förväntade oss".
McDonnell sade att Javid inte bör fortsätta som affärssekreterare.
Han berättade för Radio 4's World Denna helg program någon "mer dynamisk" och "effektiv" behövdes.
Ministrarna har kritiserats för att de underlåtit att vidta fler åtgärder för att förhindra "dumpning" av billigt kinesiskt stål - att sälja det billigt med förlust - vilket ses som en av de viktigaste orsakerna till problemen i den brittiska stålindustrin.
När det gäller Marr sade Javid att Storbritannien hade varit "ledaren" när det gäller att driva på åtgärder mot tullar, men han sade att protektionism "inte ligger i någons intresse".
På andra håll har regeringen minskat effekten av nya kinesiska importtullar med upp till 46,3 %.
David Cameron och Walesisk förste minister Carwyn Jones träffas på tisdag för att diskutera situationen.
Tycoon Sanjeev Gupta har hållit inledande samtal med regeringen om möjligheten att köpa delar av Tata Steels brittiska verksamhet, inklusive Port Talbot stålverk, BBC förstår.