Human Rights Watch (HRW) sade att minst 72 civila hade dödats i strejkerna och att blocket behövde bära ansvaret där så var lämpligt.
Men Natos taleskvinna sa att kampanjen genomfördes "med aldrig tidigare skådad omsorg och precision".
Hon sa att Nato "gjorde allt för att minimera riskerna för civila".
"Men i en komplicerad militärkampanj, kan den risken aldrig vara noll", erkände talesmannen Oana Lungescu.
Hon tillade att alliansen "tittade på varje trovärdig anklagelse" om skada för civila och "bekräftade att de specifika mål som Nato slog till mot var legitima militära mål".
Flygplan från USA, Storbritannien och Frankrike genomförde de flesta av de 9 658 strejksorterna förra året, riktade styrkor som var lojala mot den libyske ledaren överste Muammar Gaddafi.
Poängen med Natos flygkampanj i Libyen förra året var att skydda civila, så hur många oskyldiga människor som dog är fortfarande en känslig fråga, rapporterar BBC:s diplomatiska korrespondent Bridget Kendall.
I sin rapport som publicerades på måndagen
, USA-baserade HRW sade att det hade granskat i detalj bevis på påståenden om civila dödsfall från åtta separata Nato strejker.
I ett fall sades det att en första bomb dödade 14 personer, och en andra, strax senare, dödade ytterligare 18 personer som hade rusat för att hjälpa offren.
"Vi efterlyser snabba, trovärdiga och grundliga undersökningar", berättade HRWs Fred Abrahams, huvudförfattare till rapporten, BBC News.
Abrahams säger att Nato vägrar att erkänna dödsfallen och inte har erbjudit någon ersättning till familjerna.
"Tills nu, Nato har intagit en ståndpunkt av förnekande", sade han.
"Jag tror att det kommer att leda till onödiga civila dödsfall i framtiden om Nato vägrar att titta på vad som gick fel och göra korrigeringar."
I mars en annan människorättsorganisation,  
          Amnesty International, sade att det hade dokumenterat 55 fall
 av namngivna civila, däribland 16 barn och 14 kvinnor, dödade i flyganfall.
Det sades att Nato hade misslyckats med att undersöka dessa fall grundligt.
Källa: Nato
Adel Ebsat, en släkting till tre offer som dog av ett flyganfall nära den östra staden Zlitan, berättade för BBC att han upprepade gånger hade bett den libyska regeringen att inleda ett fall mot Nato och att en utredning skulle genomföras.
Men det verkar finnas en motvilja från libyska tjänstemän att hålla Nato ansvarigt för alla civila dödsfall som kan ha orsakats av flyganfall, BBC:s Rana Jawad i Tripoli rapporter.
De flesta libyer anser att alliansen hjälpte landet att lyckas i sitt uppror mot överste Khadaffi, som störtade och dödade honom förra året, säger vår korrespondent.
Den överväldigande tron, tillägger hon, är att otaliga dödsfall undveks på grund av västvärldens ingripande.
Nato har betonat att det är redo att samarbeta med de nya libyska myndigheterna för att bedöma vilka ytterligare åtgärder som är lämpliga.
Alliansen säger dock att den inte kan ta ansvar eftersom den inte har haft någon närvaro på plats för att bekräfta dödsfallen.
Nato har slagit tillbaka på en rapport som uppmanar alliansen att till fullo undersöka civilas död i flyganfall i Libyen förra året.