De beskrev en fasansfull scen i slutet av två dagars stand-off vid Moulvibazar nära Sylhet.
Polisen berättade för lokala medier att militanterna detonerade en granat efter att ha misslyckats med att fly och undvika att bli tillfångatagna.
De döda tros vara medlemmar i en lokal jihadistgrupp.
På lördagen dödades sex personer - två poliser och fyra civila - i tvillingbombningar i Sylhet när kommandosoldater spolade ut en annan grupp av misstänkta islamistiska militanter.
Så kallad islamisk stat (IS) hävdade på meddelande app Telegram att det låg bakom en av blasterna.
I den senaste händelsen på torsdag, polisen berättade The Daily Star att kropparna upptäcktes när en bomb avyttring team in i militanternas håla efter "disposation av granater och bomber [som] låg utspridda på golvet" i byggnaden.
Tidningen säger att ljudet av skottlossning och explosioner kunde höras hela tiden ända fram till den tid då säkerhetsstyrkorna gick in i lokalen.
Det är oklart hur ett barn uppenbarligen blev indragen i våldet.
BBC:s Waliur Rahman i Dhaka säger att ett annat misstänkt gömställe i samma nordöstra område också har varit omgivet av polis sedan onsdag.
Under tiden bevakar polisen också en byggnad i den östra staden Comilla, där en liknande razzia för att driva ut militanter snart förväntas.
Upptrappningen av våldet kommer vid en tidpunkt då många i Bangladesh trodde att säkerhetsstyrkor hade lyckats stävja islamistisk militans, efter den dödliga belägringen på ett café i Dhaka förra året.
Nyligen inträffade självmordsattacker mot säkerhetsläger och kontroller har förvånat många.
IS har hävdat att ligga bakom minst två andra incidenter denna månad, inklusive en vid en kontrollstation nära Bangladeshs internationella flygplats och en som involverar en man som försökte korsa en kontrollstation som drivs av en elitpolisenhet.
Bangladeshs polis hävdar dock att en förskjutning av den förbjudna islamistiska utstyrseln Jamiatul Mujahideen Bangladesh (JMB) är ansvarig för många av dessa attacker, trots påståenden om motsatsen från IS och al-Qaida.
Upp till åtta personer inklusive ett barn dödades när misstänkta islamistiska militanter sprängde sig själva efter att ha omringats i ett gömställe i nordöstra Bangladesh, säger polisen.