Krigarna sägs gömma sig i färre än tio hus i området vid havet i Al-Giza al-Bahriya.
Regeringens kampanjstyrka tillkännagav sin fulla kontroll över Sirte i måndags, efter att det sista IS-kontrollerade området föll för de FN-understödda kämparna.
En talesman har dock sagt till BBC att de ännu inte har förklarat segern.
Operationen Ahmed Hadia berättade för BBC: "De har nu tagit kontroll över det sista området, men det betyder inte att militära operationer har avslutats."
Hadia sade att styrkorna, som har fått stöd av amerikanska flygräder, nu skulle fokusera på "kampen mot staden" för att hitta eventuella kvarvarande IS jihadister.
Sirte var IS:s fäste efter dess tillfångatagande i juni 2015 och hade upprepade gånger beskrivit det i propaganda som sin huvudsakliga bas utanför Syrien och Irak.
Men gruppen tvingades tillbaka till bara ett litet område i slutet av oktober av regeringsvänliga styrkor efter en sju månaders kamp för kontroll.
Enligt Facebook-sidan av den styrka som stödde National Accords regering (BNA) hade IS använt kvinnor och barn som mänskliga sköldar under striden.
Bilder på deras synbara fångar från området, täckta av damm, har visats i libysk television.
"Idag de [krafter löst allierade till GNA] hjälpte många kvinnor och över 20 barn, mestadels spädbarn och småbarn, som kom ut skräckslagna och i trängande behov av medicinsk och posttraumatisk hjälp," Facebook sidan sade.
Det har varit en lång och dödlig kamp för de styrkor som kämpade för att driva bort den så kallade islamiska staten från Sirte.
Slutet på striden där kommer att välkomnas av tusentals som var tvungna att fly sina hem, och av det internationella samfundet.
Även om detta inte innebär slutet på den radikala gruppens närvaro i landet, försvagar det den avsevärt. Det är troligt att dess medlemmar i allt större utsträckning kommer att tillgripa mer dödliga, isolerade attacker. Det finns fortfarande celler under dess fana i olika delar av Libyen.
År 2015 när IS drevs ut från den första libyska stad som den någonsin kontrollerade - Derna - återgick den till kontroll under en blandning av lokala islamistiska miliser med kopplingar till al-Qaida.
Libyens komplexa nätverk av lokala väpnade grupper och dess fortsatta dysfunktionella politik ger fortfarande mogna områden där extremistiska grupper kan blomstra.
Under de kommande månaderna kommer Libyens stora skara politiker och konkurrerande förvaltningar att behöva börja hitta konkreta lösningar på den pågående civila konflikten, vilket i första hand ledde till Sirtes dramatiska fall i IS-händer.
Libyska styrkor jagar den sista islamiska staten (IS) jihadister i staden Sirte, efter att ha avlägsnat dem från deras tidigare bastion.