Den USA-baserade kampanjgruppen säger att Kigali rykte om att vara snygg kommer till ett pris.
HRW säger att det har dokumenterat den olagliga kvarhållandet av tusentals, inklusive gatubarn och sexarbetare.
Rwandas justitieminister Johnston Busingye förnekade att det fanns inofficiella fångläger i landet.
Philippe Busingye tillade HRW "söker sprida falskhet och spekulation" men att anklagelserna kommer att utredas.
Han sade att det centrum där människor fördes var för kortare vistelser först före långsiktig rehabilitering.
HRW säger i sin rapport, baserad på forskning som utförts under fyra år, att människor transporteras från huvudstadens gator till ett stort tidigare garage som användes för att förhöra misstänkta för folkmord efter 1994.
Organisationen säger att avrundning av gatuförsäljare, tiggare, hemlösa människor, gatubarn, sexarbetare och småbrottslingar återspeglar en inofficiell politik för att hålla dem som betraktas som oönskade borta från allmänhetens ögon.
HRW säger att fångar hålls där i bedrövliga förhållanden under perioder som sträcker sig från några dagar till flera månader.
F.d. fångar berättade för HRW om rutinmässig misshandel för handlingar som är så triviala som att tala för högt eller inte stå i kö för att använda toaletten.
Carina Tertsakian, som sammanställde rapporten, säger att de rwandiska myndigheterna omedelbart bör stänga fånglägret och frige alla fångar.
"Om några av dessa fångar misstänks för att begå ett brott bör de ställas inför rätta enligt lagen", tillade hon.
Rwandas justitieminister berättade för HRW 2014, och sade igen på torsdag, att platsen där människor togs tillhandahålls rehabilitering och undvek "onödiga fängslande".
"Även om HRW insisterar på att Rwanda ska åtala narkomaner och andra brottslingar för allvarliga brott som bär fängelsestraff, har landet istället valt att fokusera på att rehabilitera och återintegrera dem för att erbjuda chansen till ett bättre liv", sade han.
Rwandas polis fängslar godtyckligt utsatta människor som plockas upp på gatorna i huvudstaden, enligt Human Rights Watch (HRW).