Winterbourne View behandlar personer med inlärningssvårigheter och autism.
Andrew McDonnell, som arbetar med vuxna med psykiska funktionshinder, markerade några av de exempel som setts på filmen "tortyr".
Alla fyra har släppts mot borgen. Sjukhusets ägare, Castlebeck, har bett om ursäkt och avbrutit 13 anställda.
Ministern för vård och omsorg Paul Burstow sade att den statliga tillsynsmyndigheten, Care Quality Commission (CQC), hade blivit ombedd att genomföra en brådskande undersökning.
Avon och Somerset polisen bekräftade att tre män - 42, 30 och 25 - och en 24-årig kvinna arresterades som en del av deras pågående utredning av sjukhuset.
Under fem veckor under täckmantel filmade Panoramas reporter bilder av några av sjukhusets mest utsatta patienter som upprepade gånger fastnade, slagna, släpade in i duschar medan de var påklädda, hånade och retade.
Sjukhuset är en privatägd, ändamålsbyggd, 24-bädds anläggning och är skattefinansierad.
NHS South West sa att det var "påsatt" av de frågor som togs upp kring vårdhemmet.
I ett uttalande sades det: "Vi förväntar oss alltid säker, högkvalitativ vård från tjänsteleverantörer och missbruk av utsatta patienter är helt oacceptabelt."
McDonnell, en klinisk psykolog som tittade på bilderna, berättade för programmet att grundläggande tekniker för att hantera patienter med utmanande beteende ignorerades.
Han sa att han blev chockad av en del av behandlingen av utsatta patienter.
Efter att ha sett bilder av en 18-årig patient vid namn Simone som blev verbalt misshandlad och dränkt med kallt vatten medan han var fullt klädd som ett straff, sade han: "Detta är inte ett fängelse... människor är inte här för att straffas.
"Det här är en terapeutisk miljö. Var är terapin i det här? Jag skulle hävda att detta är tortyr."
Simones föräldrar berättade för programmet att hon hade sagt till dem att hon blev misshandlad på sjukhuset, men de hade försäkrat henne om att det inte skulle få hända.
"Hon berättade för oss att hon hade blivit träffad, hennes hår hade dragits och hon hade sparkats - och jag sade nej, detta skulle inte hända, de är inte tillåtna," sade patientens mamma.
Professor Jim Mansell, från universitetet i Kent och en statlig rådgivare om användningen av fysisk återhållsamhet för dem med utvecklingshandikapp, sade att från filmerna visade det sig att personalen "väntade på att kasta sig över människor och tygla dem".
"Det här är den värsta typen av institutionsvård. Det är den typ av sak som var allmänt förekommande i slutet av 60-talet och som ledde Storbritannien att gradvis stänga de stora, långvariga institutioner, "tillade han.
Programmet bestämde sig för att filma i hemlighet efter att ha kontaktats av en före detta äldre sjuksköterska på sjukhuset som var djupt oroad över beteendet hos några av de stödarbetare som tog hand om patienterna.
"Jag har sett mycket över 35 år men detta har jag aldrig sett något liknande.  Det är det värsta jag har sett", berättade före detta sjuksköterska Terry Bryan programmet.
"Det här är alla människors söner, döttrar, föräldrar, fastrar, farbröder. Dessa är alla människor som har fått familjerâ € € de familjer själva inte vet vad som händer där. "
Bryan rapporterade sin oro till både ledningen på Winterbourne View och CQC, men hans klagomål togs inte upp.
Ian Biggs, regional chef för CQC för sydväst, sade att en möjlighet att förhindra missbruk saknades när Bryans klagomål inte undersöktes.
"Om vi hade agerat vid den tiden, som vi har gjort nu, kan vi agera mycket snabbt för att upphöra med den typen av behandling.
"Vi missade den chansen och vi är ledsna för det och vi gör allt vi kan nu för att se till att vi svarar ordentligt."
I ett uttalande sade vårdkvalitetskommissionen efter en intern översyn att "det fanns tecken på problem på detta sjukhus som borde ha lett till att vi vidtog åtgärder tidigare".
"Vi ber om ursäkt till dem som har svikits av vår underlåtenhet att agera snabbare för att ta itu med den förfärliga behandling som människor på detta sjukhus utsattes för", sade det.
Reporter "förfärad" av missbruk
Mr Burstow sade att människor förtjänar att få "säker och effektiv vård" från varje vårdgivare.
Han sade också att han hade "bekräftat med CQC att de borde genomföra en rad oanmälda inspektioner av tjänster för personer med inlärningssvårigheter".
Castlebeck har inlett en intern utredning av sina whistle-blower procedurer och granskar alla 580 patienter i 56 anläggningar.
De sårbara patienter som filmats av Panorama har flyttats till säkerhet.
Sjukhuset debiterar skattebetalarna i genomsnitt 3 500 pund per patient och vecka och Castlebeck har en årlig omsättning på 90 miljoner pund.
Verkställande direktör Lee Reed berättade för programmet att han var "förfärad" av vad som hade hänt.
"Allt jag kan göra är att obetingat be både familjer och utsatta vuxna om ursäkt som har varit inblandade i detta och återta att se till att detta inte händer igen", sade han.
Panorama reporter Joe Casey sa att han var chockad över vad han bevittnade.
"På en nästan daglig basis, såg jag som några av de människor som anförtroddes vård av samhällets mest sårbara riktade patienter - ofta, verkade det, för deras egen nöjes skull. De är scener av pina som inte är lätt att glömma, sade han.
South Gloucestershire Council sa att det "tar alla anklagelser om missbruk och misshandel av utsatta vuxna på stort allvar".
I ett uttalande sades det: " Vårt omedelbara intresse är alltid för patienternas säkerhet och välfärd.
"Så snart SAB [Safeguarding Adult Board] fick kännedom om dessa anklagelser på Winterbourne View... vidtogs lämpliga åtgärder i enlighet med etablerade förfaranden och protokoll."
Panorama's Undercover Care: The Abuse Exposed sändes på BBC One tisdagen den 31 maj kl 2100 BST och finns att se i Storbritannien på BBC iPlayer.
Polisen i Bristol har arresterat fyra personer efter hemlig inspelning av BBC Panorama hittade ett mönster av allvarligt missbruk på ett bostadssjukhus.