Den nya syriska armén (NSA) sade att den hade fångat ett antal IS-positioner i utkanten av Albu Kamal, efter att ha kört över en närliggande militärflygplats.
Men en razzia i staden som inleddes i gryningen rapporteras ha avvisats av militanter.
Anfallet, som inleddes på tisdagen, syftar till att bryta en viktig väg mellan IS-kontrollerade områden i Syrien och Irak.
NSA sa att det samordnade attacken med irakiska regeringsstyrkor, som ryckte fram på gränsen från andra sidan.
Flera hundra rebeller uppges vara inblandade i attacken mot Albu Kamal, bara några kilometer från Iraks gräns i provinsen Deir al-Zour.
NSA och det syriska observatoriet för mänskliga rättigheter, en brittisk övervakningsgrupp, sade båda på onsdagsmorgonen att rebellerna hade tagit kontroll över Hamdans flygplats, cirka 5 km nordväst om staden.
Striderna fortsatte mellan de två sidorna i jordbruksområden runt om i staden, och koalitionskrigsplan genomförde flyganfall på IS gömställen i staden, enligt det syriska observatoriet.
NSA:s talesman Mozahem al-Saloum berättade för Associated Press att luftburna fighters också hade släppts på den södra kanten av Albu Kamal.
Senare på onsdag utfärdade NSA ett uttalande om att dess styrkor hade " genomfört en djup penetrationsräd" i Albu Kamal.
"Vid denna tid strider fortfarande pågår, men NSA upprätthåller kontroll över öknen, närmar sig Albu Kamal, och upprätthåller handlingsfrihet," tillade det.
Reuters nyhetsbyrå anförde två rebellkällor som sa att NSA hade tvingats retirera till utkanten efter en IS motattack.
En av källorna sa att militanterna hade omringat rebellerna i ett överraskande bakhåll. Rebellerna hade ådragit sig stora förluster och förlorat en del av sina vapen, tillade källan.
När rebellerna avancerat på Albu Kamal, IS släppt en video som visar militanta som halshugger fem unga män i staden som de påstod arbetade med NSA, sade det syriska observatoriet.
NSA bildades för omkring 18 månader sedan av rebellfraktioner som drevs ut ur östra Syrien av IS, som proklamerade skapandet av ett "kalifat" i juni 2014.
NSA-stridande, som har utbildats vid USA-drivna läger i Jordanien, fångade Tanf gränspassage mellan Syrien och Irak från IS tidigare i år.
IS är också utsatt för påtryckningar från en USA-stödd offensiv i norra Syrien av en allians av kurdiska och arabiska soldater, som har omringat staden Manbij och klippt en väg till den turkiska gränsen från IS fäste Raqqa.
I en separat utveckling på onsdagen dödades minst sju personer i en bilbombsattack i den kurdkontrollerade norra staden Tal Abyad, nära den turkiska gränsen, rapporterade statsmedia.
Amerikanskt understödda syriska rebeller säger att de närmar sig en stad vid gränsen till Irak som hålls av den så kallade islamiska staten.