Det brittiska syriska observatoriet för mänskliga rättigheter rapporterade att sex kvinnor och ett barn var bland dem som dog i räderna mot al-Heisha över en natt.
Den IS-hållna byn har varit målet för en USA-stödd allians av kurdiska och arabiska soldater som försöker fånga Raqqa.
En talesman för koalitionen bekräftade att den hade genomfört strejker i området.
Men överste John Dorrian berättade för AFP nyhetsbyrån att "mer specifik information behövs för att slutgiltigt fastställa ansvar" för alla civila offer.
En koalitionsförklaring sade sju strejker nära staden Ain Issa, omkring 14 km väster om al-Heisha, på tisdagen hade engagerat sex IS taktiska enheter och förstört tre stridspositioner, ett fordon, och en bilbomb anläggning.
En taleskvinna för den kurdiska-arabiska alliansen, Syriens demokratiska styrkor (SDF), avfärdade rapporterna om civila offer som "IS-nyheter".
På söndagen meddelade SDF att den hade inlett en kampanj för att isolera och slutligen ta kontroll över Raqqa, som IS har kontrollerat i nästan tre år.
Den första rapporten om flygstrejken mot al-Heisha, cirka 40 km norr om Raqqa, kom från anti-IS-aktivistgruppen, Raqqa slaktas tyst.
Det stod att 23 personer hade dödats och identifierat alla utom fyra av dem.
På onsdag sa det syriska observatoriet att 20 hade dödats och omkring 30 andra skadades i attacken.
SDF sa att 200 familjer hade flytt al-Heisha. En av invånarna som rymde, Saada al-Aboud, sade till AFP: "[IS] soldater förde tunga vapen till vår by och stannade bland oss så att om det blev strejker skulle de slå oss."
"De lät oss inte gå. Vi var tvungna att fly genom att springa ut på fälten, med våra barn och gamla människor. Vad skulle vi annars kunna göra? Vi lämnade allt bakom oss."
Det syriska observatoriet säger att minst 680 civila, däribland 169 barn, har dödats sedan koalitionens flyganfall inleddes i Syrien för två år sedan.
Koalitionen har dock erkänt ansvaret för endast 55 civila dödsfall i både Syrien och angränsande Irak mellan augusti 2014 och juli 2016.
Förra månaden sade Amnesty International att omkring 100 civila verkade ha dödats i tre koalitionsanfall i juni och juli 2016 runt Manbij, nordväst om Raqqa, under en SDF-operation för att driva IS militanta ut ur staden.
En USA-ledd flygstrejk dödade minst 20 civila i en by norr om den så kallade islamiska statens syriska fäste i Raqqa, säger aktivister.