Open Society Justice Initiative och Kenyas muslimer för mänskliga rättigheter sade polisen ofta torterade fångar.
Deras rapport sade godtyckliga arresteringar och försvinnanden var också utbredd, särskilt i Mombasa, en stad med en stor muslimsk befolkning.
Tjänstemän har inte svarat, men de har förnekat liknande påståenden tidigare.
USA:s och Storbritanniens regeringar stöder Kenyas antiterrorpolis med utbildning och utrustning.
I fängelse med al-Shabab
I rapporten sades att sådan hjälp bör avbrytas till varje enhet där det fanns trovärdiga bevis för att polisen hade begått brott mot de mänskliga rättigheterna.
BBC:s afrikanska säkerhetskorrespondent Moses Rono säger att det skulle vara ett svårt beslut att ta eftersom Kenyas insatser mot terrorism är avgörande för att hindra spridningen av islamistisk militans i Östafrika.
Attacken i september mot köpcentret Westgate i Kenyas huvudstad Nairobi, där 67 dödades, har ökat trycket på myndigheterna att agera eller ses som ett försök att stoppa terrorattacker, säger han.
Den somaliska islamistiska gruppen al-Shabab sa att den låg bakom fyradagars belägringen.
I rapporten med titeln Vi är trötta på att ta dig till domstolen forskare talade med mer än 40 personer under det senaste året.
De fann att antiterrorpolisens enhet (APTU) torterade fångar för att få dem att erkänna kopplingar till terrorism, och godtyckliga frihetsberövanden och försvinnanden var utbredda.
I rapporten efterlystes officiella utredningar av försvinnanden och mord av minst 20 personer som misstänks för terroristrelaterad verksamhet.
Dessa inkluderade de senaste morden i Mombasa på två muslimska präster som påstås ha kopplingar till al-Shabab.
Kenyas säkerhetsstyrkor har tidigare förnekat anklagelser om att de låg bakom morden.
Enligt rapporten sade en polisman till en fånge vid en polisstation: " Vi är trötta på att ta dig till domstolen. Nästa gång gör vi slut på dig ute på fältet."
I rapporten citerades en advokat som sade till en domstolsförhandling: "Mina klienter har klagat till mig att utredare använde ett par tång för att pressa sina privata delar."
En sådan taktik kränker de mänskliga rättigheterna och är kontraproduktiv till kampen mot terrorism, sades det i betänkandet.
Utredningen inriktades främst på brott som begåtts i Mombasa 2012 och 2013, men rapporten säger att ATPU:s bredare mönster av brott mot rättigheter sträcker sig tillbaka år tidigare.
Det pekade på olagliga överlämnanden till Somalia och Etiopien 2007 och minst nio misstänkta som fälldes till Uganda 2010 efter VM-bombningarna i Kampala.
En antiterroristpolis berättade för BBC att kampen mot terrorism var en svår verksamhet och det var inte lätt att hitta bevis för att koppla misstänkta till terrorism.
Han sade att vittnen ofta var ovilliga att vittna, vissa misstänkta dödades i skottlossning, och andra flydde landet för att undvika åtal.
Kenyanska antiterroristofficerare har anklagats för att utföra utomrättsliga mord och andra övergrepp i en rapport från amerikanska och kenyanska rättighetsgrupper.