Haki Afrika sade att siffran kunde vara högre men vissa familjer var ovilliga att träda fram av rädsla för att bli offer för statliga säkerhetsagenter.
Polistillsynsorganet sade att 52 officerare stod inför rätta i samband med sådana mord över hela landet.
Kustregionen har drabbats av flera terrorattacker under de senaste åren.
Den somaliska islamistiska militanta al-Shababgruppen har riktat in sig på Kenya över utplaceringen av kenyanska styrkor till Somalia.
De flesta offren var ungdomar, däribland återvändande från Somalia, som hade kapitulerat efter det att regeringen hade lovat dem amnesti, sade Haki Africas rapport.
Andra påstods ha dödats till följd av överdrivet våld under polisens ingripanden mot protester och andra religiösa grupper som hade anklagats för att radikalisera ungdomar.
Saada Suleiman, som var med vid rapportens lansering i huvudstaden Nairobi, sade att hennes man hade varit försvunnen i två år sedan han arresterades i en räd mot Masjid Musa moskén i Mombasa känd för sina radikala predikningar.
Haki Africa verkställande direktör Hussein Khalid sade några av de dödade var terrormisstänkta, inklusive flera radikala muslimska präster, men detta var ingen ursäkt för staten att avrätta dem utan vederbörlig process.
BBC:s Abdinoor Aden i huvudstaden, Nairobi, säger att officerare från antiterrorenheten har varit starkt inblandade i rapporten.
Murshid Nassir, som leder National Police Service Commission som veterinärer officerare, berättade för BBC att så kallade "dödskvadroner" inte existerade inom polisen och utomrättsliga mord tolererades inte.
Ordföranden för den oberoende polismyndigheten lovade att vidta åtgärder mot officerare som befunnits skyldiga till morden.
Macharia Njeru sade att 52 officerare hade åtalats och att mer än 300 officerare undersöktes för grova kränkningar av de mänskliga rättigheterna.
Kenyas anti-terrorpolis har genomfört minst 81 utomrättsliga mord i landets främst muslimska kustregion sedan 2012, säger en rättighetsgrupp.