I en rapport från HM-fängelsemyndigheten i Verne IRC i Portland kritiserades också antalet rättsliga ombud som fanns tillgängliga för fångar.
I betänkandet lovordades personalens behandling av fångar och chefernas användning av kroppskameror.
Inrikesdepartementet sa att det tog fångarnas välfärd "extremt på allvar".
HMP Verne omklassificerades i september 2014 som flyttcentral för invandring.
Nästan 600 män i väntan på utvisning hölls i centret, och en majoritet hade tidigare suttit i fängelse till följd av brottsliga domar.
Under den första tillkännagivna inspektionen sedan statusändringen fann inspektörerna att "våldsnivån var för hög och en del av våldet var allvarligt".
De rapporterade en "berörd indisciplin" veckan före besöket i mars.
De pekade också på en högre tillgång än vanligt på nya psykoaktiva ämnen och olaglig alkohol.
Inspektörerna fann att det fanns 30 minuters kostnadsfri juridisk rådgivning, och många fångar "slog för att få representation för att bekämpa sina fall".
I deras rapport betonades också "överdrivna vistelser", däribland nästan 40 man som hålls kvar i mer än ett år, och en som hålls i fem år, vilket inspektörerna beskrev som "ett av de värsta fall av långvarig internering som vi har sett".
Det sades också att det tidigare viktorianska fortkomplexet förblev "för fängelseliknande till sin karaktär", med alltför mycket inre stängsel och taggtråd och restriktioner för rörelse.
Chefsinspektören för fängelserna Nick Hardwick sade: " Överlag fungerade Verne tillfredsställande. Trots stora ansträngningar för att förbereda institutionen för dess nya roll återspeglade dock miljön och personalkulturen en institution som ännu inte hade kommit till rätta med sin nya funktion som IRC."
En talesman för inrikesministeriet sade: " Det gläder oss att inspektören har rapporterat att majoriteten av fångarna i Verne kände sig trygga och var mycket positiva till deras behandling av personalen.
"Vi har noga övervägt inspektörens rekommendationer och har åtagit oss att samarbeta med våra entreprenörer för att genomföra vår serviceförbättringsplan för centret."
F.d. fängelseombudsman Stephen Shaw ska slutföra en oberoende granskning av fångarnas välfärd som förväntas slutföras under hösten.
Höga våldsnivåer noterades vid ett centrum för avlägsnande av invandring (IRC) i ett tidigare Dorset fängelse, fängelsevakten har hittat.