Organisationen säger att många av dem som återvänder till Somalia motiveras av rädsla för att tvingas ut.
Tiotusentals flyktingar har gjort resan hem efter år i lägret.
Både Kenya och Somalia säger att det är dags att Dadaab läggs ned.
Men HRW säger att Kenya inte ger flyktingarna ett verkligt val mellan att återvända eller stanna.
Det står också att FN:s flyktingarm, UNHCR, inte ger flyktingarna korrekt information om säkerhetsförhållandena i Somalia och att de löper stor risk för förföljelse eller hot mot sina liv om de återvänder.
Att tvinga flyktingar att återvända till en plats där deras liv eller frihet kan hotas är ett brott mot 1951 års flyktingkonvention, säger organisationen.
En del av flyktingarna väljer också att lämna landet eftersom de är rädda för att bli deporterade senare och förlorar ett FN-bidrag på 400 dollar (300 pund), säger organisationen.
"Det finns inte en chans att dessa återvändanden kan betraktas som frivilliga", säger HRW:s Bill Frelick.
Vissa flyktingar som har lämnat Dadaab har sedan dess blivit strandsatta nära gränsen efter regionala ledare i Jubaland, som gränsar till Kenya och dit de flesta återvändande kommer, slutade ta emot dem, med hänvisning till otillräckligt humanitärt stöd.
Dadaablägret i Kenya är hem för mer än 300.000 somalier.
Det bildades 1991 för att husera familjer som flyr från konflikter och en del människor har bott där i mer än 20 år.
Kenya säger att attacker på dess jord har planerats i lägret.
Återsändandet av somaliska flyktingar från flyktinglägret Dadaab i Kenya uppfyller inte internationella normer för frivilligt återvändande, har en rapport från Human Rights Watch funnit.