HM Inspectorate of Fängelse (HMIP) sade överfall på HMP Leeds hade ökat betydligt sedan 2013.
I genomsnitt förekommer det nu 32 övergrepp på interner och personal varje månad, varav omkring 10 procent leder till allvarliga skador.
National Offender Management Service sa att det var att vidta "berörda åtgärder" för att bekämpa juridiska toppar.
HMIP sade att nya psykoaktiva ämnen - även kända som legala högar - var en "viktig faktor" i ökningen av våldet.
Inspektörerna fann också att användningen av våld och segregation i fängelset, som lokalt kallades Armleyfängelset, var "hög" och att de flesta celler var "dåligt utrustade".
Nivåerna av trängsel befanns också vara "mycket höga", med 1 149 interner som hölls vid tidpunkten för inspektionen i december mot en operativ kapacitet på 1.219.
Inspektörer fann dock stöd för män med drog- och alkoholproblem "i allmänhet bra", fångar tillbringade en "rimlig tid" ur sina celler och personalkulturen var "i grunden positiv och anständig".
Det sades också att med tanke på fängelsets ålder - HMP Leeds byggdes 1847 - var bostaden "rimligt väl underhållen och miljön var ren".
Martin Lomas, biträdande chefsinspektör för fängelserna, beskrev inspektionsresultaten som "uppskov" och sade att grundläggande säkerhetsfrågor måste hanteras "brådskande".
Han sade dock att den nye guvernören hade gjort en "bra start på att ta itu med dessa utmaningar" och hade en "god förståelse för de problem som ställdes inför".
Michael Spurr, verkställande direktör för National Offender Management Service, sade HMP Leeds, liksom andra offentligt finansierade fängelser, var tvungen att hantera en "hög ökning" i utbudet av juridiska toppar mot en bakgrund av kostnadssänkningar.
Han sade att förbättringen av säkerheten var den "första prioriteringen" och att guvernören och personalen skulle "få det stöd de behöver för att göra de förbättringar som krävs".
Juliet Lyon, chef för Prison Reform Trust, sade att fängelset misslyckades med att möta "människors mest grundläggande behov - säkerhet".
"Hur kan vi förvänta oss att människor lämnar vårdnaden för att vara mindre benägna att förolämpa, om allt de har upplevt i fängelset är rädsla och våld?"
Lagliga höjder är en "viktig faktor" bakom en kraftig ökning av antalet våldsdåd i ett fängelse till nästan dubbelt så många som i liknande fängelser, har en rapport hittat.