Sachverhalt:
A. A._ war als Kollektivgesellschafter an einer Gärtnerei für ethnobotanische Pflanzen in Brunnen beteiligt. Im Rahmen des Strafverfahrens, welches die Untersuchungsbehörden des Kantons Schwyz gegen ihn und die übrigen Gesellschafter (wegen Verdachts auf Produktion von Hanf zur Betäubungsmittelgewinnung) eröffnet hatten, wurden am 7. Juni 2004 sämtliche Hanfpflanzen und Produktionsanlagen der Gärtnerei mit Beschlag belegt. Im anschliessenden Rechtsmittelverfahren erstritten die Gesellschafter die Freigabe von Hanf und Produktionsanlagen unter "geeigneten Auflagen und Kontrollen" (Beschluss des Schwyzer Kantonsgerichts vom 26. Mai 2006). Nachdem die Kollektivgesellschaft am 5. Juli 2006 gelöscht worden war, reichte A._ am 30. Mai 2007 Klage gegen den Kanton Schwyz ein und verlangte eine Schadenersatzleistung in der Höhe von 391'141.60 Franken; seine ehemaligen Mitgesellschafter hatten ihm vorgängig ihre allfälligen Ansprüche abgetreten. Das Verwaltungsgericht des Kantons Schwyz wies die Klage mit Urteil vom 2. April 2008 ab, soweit es darauf eintrat.
B. Am 23. Mai 2008 hat A._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten eingereicht mit dem Antrag, den angefochtenen Entscheid aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen; Letztere sei zudem anzuweisen, eine öffentliche mündliche Verhandlung durchzuführen. Eventuell sei der angefochtene Entscheid, soweit er die Schadenersatzforderung aus unsachgemässer Lagerung des Hanfrohstoffes betreffe, aufzuheben und die Sache zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen oder der Kanton Schwyz zu verpflichten, dem Beschwerdeführer einen Betrag von 105'612 Franken nebst Zins zu 5 Prozent seit 7. Juni 2004 zu bezahlen. Gleichzeitig ersucht der Beschwerdeführer um Gewährung der unentgeltlichen Prozessführung und Verbeiständung.
Regierungsrat und Verwaltungsgericht des Kantons Schwyz beantragen je, die Beschwerde abzuweisen, soweit darauf einzutreten sei.

Erwägungen:
1. Streitig ist vorliegend, ob dem Beschwerdeführer ein Ersatzanspruch aus Staatshaftung zusteht. Es handelt sich mithin um eine Angelegenheit des öffentlichen Rechts im Sinne von <ref-law>, welche nicht unter eine der Ausnahmen gemäss <ref-law> fällt. Weil zudem die Streitwertgrenze von <ref-law> erreicht wird und der Beschwerdeführer gemäss <ref-law> zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert ist, ist auf die form- und fristgerechte Eingabe einzutreten.
2. Der Beschwerdeführer hatte im vorinstanzlichen Verfahren die Durchführung einer öffentlichen mündlichen Verhandlung verlangt. Weil seinem Antrag nicht entsprochen worden ist, sieht er nun Art. 6 Ziff. 1 EMRK verletzt.
2.1 Nach dieser Konventionsbestimmung ist in Streitigkeiten über "zivilrechtliche Ansprüche und Verpflichtungen" eine (mündliche) öffentliche Verhandlung durchzuführen, sofern die Parteien nicht ausdrücklich oder stillschweigend darauf verzichten. Von Art. 6 Ziff. 1 EMRK werden nicht nur zivilrechtliche Streitigkeiten im eigentlichen Sinne erfasst, sondern auch Verwaltungsakte hoheitlich handelnder Behörden, die massgeblich in private Rechtspositionen eingreifen. In diesem Sinne als zivilrechtlich gelten unter anderem Schadenersatzforderungen gegenüber dem Gemeinwesen (vgl. <ref-ruling> E. 5.1 S. 394 und E. 5.3 S. 397). Hinsichtlich der vorliegenden Staatshaftungsstreitigkeit wird deshalb zu Recht von keiner Seite in Frage gestellt, dass der Beschwerdeführer an sich Anspruch auf Durchführung einer öffentlichen Verhandlung gehabt hätte (vgl. <ref-ruling> E. 3a S. 150 f.). Die vom Gericht zu beurteilenden Fragen waren weder ausschliesslich rechtlicher noch hochtechnischer Natur, so dass eine persönliche Befragung bzw. Äusserungsmöglichkeit der Parteien nicht sinnlos - und damit zum Vornherein überflüssig - erschienen wäre (vgl. hierzu <ref-ruling> E. 3 S. 54 ff.; Urteil 9C_555/2007 vom 6. Mai 2008, E. 3.2).
2.2 Die Vorinstanz führte trotz ausdrücklichem dahingehendem Antrag des Beschwerdeführers keine (mündliche) öffentliche Verhandlung durch. Ihre ablehnende Haltung hat sie damit begründet, dass der betreffende Antrag nicht rechtzeitig gestellt worden sei. Gemäss § 70 der kantonalen Verordnung über die Verwaltungsrechtspflege (VRP/SZ) in Verbindung mit § 109 Abs. 1 der Schwyzer Zivilprozessordnung (ZPO/SZ) könne der Gerichtspräsident für Replik und Duplik das mündliche oder schriftliche Verfahren anordnen. Der Antrag auf Durchführung einer mündlichen Verhandlung müsse deshalb frühzeitig - jedenfalls vor Einreichung der schriftlichen Replik - gestellt werden. Würde einem erst in der Replik gestellten Antrag noch entsprochen, so käme es neben dem doppelten Schriftenwechsel zusätzlich noch zu einer mündlichen Triplik und Quadruplik, was eine ungerechtfertigte "Verfahrensaufblähung" bedeuten würde.
2.3 Weil die Parteien auch stillschweigend auf ihren Anspruch auf eine mündliche öffentliche Verhandlung verzichten können, haben sie in jenen Verfahren, für die das anwendbare Prozessrecht eine solche nicht zwingend vorschreibt, einen dahingehenden Verfahrensantrag zu stellen; unterlassen sie dies, wird angenommen, sie hätten auf ihren Anspruch aus Art. 6 Ziff. 1 EMRK verzichtet (<ref-ruling> E. 2e/aa S. 48; Näheres bei Ruth Herzog, Art. 6 EMRK und kantonale Verwaltungsrechtspflege, Bern 1995, S. 350 ff.). Liegt ein entsprechender Antrag vor, so kann unter anderem dann ausnahmsweise doch von einer öffentlichen Verhandlung abgesehen werden, wenn er "nicht frühzeitig genug" gestellt worden ist, als schikanös erscheint oder auf eine Verzögerungstaktik schliessen lässt und damit dem Grundsatz der Einfachheit und Raschheit des Verfahrens zuwiderläuft oder gar rechtsmissbräuchlich ist (<ref-ruling> E. 3b S. 56). Zu prüfen ist hier also, ob das Verwaltungsgericht zu Recht von einer verspäteten Antragstellung ausgegangen ist.
2.3.1 Ausser Frage steht die Rechtzeitigkeit des Antrags auf Durchführung einer öffentlichen Gerichtsverhandlung, wenn dieser bereits in der das betreffende Verfahren einleitenden Rechtsschrift gestellt wurde (vgl. etwa Urteil 8C_67/2007, in: SZZP 2008 S. 6, E. 3.1; Urteil 4D_22/ 2007 vom 16. Juli 2007, E. 2.4 in Verbindung mit Lit. C). Als rechtzeitig wurde weiter ein Antrag betrachtet, der zwar nicht bereits in der Beschwerdeschrift, sondern erst in einer anschliessenden Eingabe, aber noch innerhalb des ordentlichen Schriftenwechsels gestellt und im Rahmen der Replik bekräftigt worden war (Urteil I 98/07 vom 18. April 2007, E. 4.1). Demgegenüber beurteilte das Eidgenössische Versicherungsgericht einen Antrag als verspätet, der mehr als 14 Monate nach Abschluss des Schriftenwechsels, aber noch während der Rechtshängigkeit des betreffenden Verfahrens gestellt wurde (Urteil K 116/03 vom 23. November 2004, E. 1).
2.3.2 Vorliegend hat der Beschwerdeführer in seiner Klageschrift wiederholt eine Parteibefragung sowie die Einvernahme von verschiedenen Zeugen verlangt. Diesen Anträgen mochte zwar stillschweigend die Erwartung zugrunde liegen, dass das Gericht eine mündliche Verhandlung durchführen werde, doch haben solche Begehren praxisgemäss bloss den Charakter von Beweisanträgen; sie lassen für sich allein noch nicht hinreichend klar auf den Wunsch der Partei nach einer konventionskonformen publikumsöffentlichen Gerichtsverhandlung schliessen (<ref-ruling> E. 3a S. 55). Unmissverständlich verlangte der Beschwerdeführer die Durchführung einer entsprechenden mündlichen Verhandlung erstmals in seiner Replik. Einen genügenden Antrag stellte er damit - auch wenn er die betreffende Eingabe erst nach gewährter zweimaliger Fristverlängerung einreichte (nachdem der Regierungsrat seinerseits eine Fristverlängerung für die Klageantwort erhalten hatte) - noch im Rahmen des Schriftenwechsels. Mit Blick auf die Rechtsprechung (vgl. E. 2.3.1) sowie auf Sinn und Zweck von Art. 6 Ziff. 1 EMRK können seine konventionsrechtlichen Ansprüche deshalb nicht verwirkt sein. In der Regel muss ein Antrag auf Durchführung einer öffentlichen Verhandlung dann als rechtzeitig gelten, wenn er während des ordentlichen Schriftenwechsels gestellt wird (im gleichen Sinne bezüglich einer entsprechenden kantonalen Verfahrensgarantie: nicht publizierte E. 2.2 von <ref-ruling>).
2.3.3 Der blosse Umstand, dass Replik und Duplik gemäss dem einschlägigen kantonalen Verfahrensrecht auf Anordnung des Gerichtspräsidenten auch mündlich hätten vorgetragen werden können (vgl. <ref-law>/SZ) und dass deshalb bei einer frühzeitigen Stellung des Antrags auf eine (mündliche) öffentliche Verhandlung im Sinne von Art. 6 Ziff. 1 EMRK von einem zweiten Schriftenwechsel hätte abgesehen werden können, lässt den in der (schriftlichen) Replik gestellten Antrag nicht missbräuchlich erscheinen: Zum einen erschöpft sich der Sinn einer öffentlichen Gerichtsverhandlung nicht darin, auf die Vorbringen der Gegenpartei mündlich antworten zu können, sondern die Verfahrensbeteiligten erhalten damit auch die Möglichkeit eines direkten Kontakts mit dem Richter. Des Weiteren hätte der Verfahrensleiter hier den mit der Replik gestellten Antrag, eine öffentliche Verhandlung durchzuführen, zum Anlass nehmen können, auf einen zweiten Schriftenwechsel (allenfalls unter Zurückweisung der eingereichten Rechtsschrift) zu verzichten und die Parteien stattdessen für Replik und Duplik auf die mündliche öffentliche Verhandlung zu verweisen. Aus diesen Überlegungen erhellt, dass <ref-law>/SZ keineswegs zwingend voraussetzt, dass das durch Art. 6 Ziff. 1 EMRK gewährleistete Recht auf eine mündliche Verhandlung bereits mit der Klageschrift geltend gemacht wird.
2.4 Ferner gibt es keine Hinweise auf ein schikanöses, auf blosse Verzögerung ausgerichtetes oder sonstwie missbräuchliches prozessuales Verhalten des Beschwerdeführers. Weil das gegen Letzteren ergangene (erstinstanzliche) Straferkenntnis, welches für die Beurteilung der streitigen Ersatzforderung von erheblicher Bedeutung sein dürfte, im Zeitpunkt der Urteilsfällung durch das Verwaltungsgericht noch nicht rechtskräftig war (bzw. noch nicht einmal schriftlich begründet war und mit der Möglichkeit eines Weiterzugs gerechnet werden musste), sprachen auch keine Gründe der zeitlichen Dringlichkeit gegen die Ansetzung der beantragten mündlichen Parteiverhandlung.
3. 3.1 Nach dem Gesagten hat das Verwaltungsgericht, indem es den Antrag des Beschwerdeführers auf Durchführung einer öffentlichen Verhandlung zu Unrecht als verspätet betrachtet hat, Art. 6 Ziff. 1 EMRK verletzt. Eine Heilung dieses Mangels durch eine öffentliche Parteiverhandlung im Verfahren vor Bundesgericht ist schon mit Blick auf dessen wesentlich engere Kognition ausgeschlossen (vgl. <ref-ruling> E. 5.1 S. 390; <ref-ruling> E. 2 S. 72). Das Bundesgericht kann die Anwendung der Haftungsbestimmungen des kantonalen Rechts nicht frei, sondern nur unter dem Gesichtswinkel des Willkürverbots prüfen (vgl. <ref-law>), und es wäre überdies grundsätzlich an die Sachverhaltsfeststellungen der Vorinstanz gebunden (vgl. Art. 97 und Art. 105 BGG). Mithin ist die Beschwerde gutzuheissen und die Sache zu neuem Entscheid an das Verwaltungsgericht zurückzuweisen, ohne dass es darauf ankäme, ob Aussichten auf eine günstigere Beurteilung der streitigen Schadenersatzforderung bestehen.
3.2 Auch wenn im vorliegenden bundesgerichtlichen Entscheid nur formell-rechtliche Fragen erörtert werden, geht es im Verfahren letztlich doch um Vermögensinteressen, weshalb der unterliegende Kanton Schwyz kostenpflichtig wird (<ref-law> e contrario). Er hat zudem den Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (<ref-law>), so dass das gestellte Gesuch um unentgeltliche Prozessführung und Verbeiständung hinfällig wird.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird gutgeheissen, das Urteil des Verwaltungsgerichts des Kantons Schwyz vom 2. April 2008 aufgehoben und die Sache zu neuem Entscheid an dieses zurückgewiesen.
2. Die Gerichtskosten von Fr. 2'500.-- werden dem Kanton Schwyz auferlegt.
3. Der Kanton Schwyz hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Das Gesuch um unentgeltliche Prozessführung und Verbeiständung wird als gegenstandslos abgeschrieben.
5. Dieses Urteil wird dem Beschwerdeführer, dem Regierungsrat des Kantons Schwyz und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, schriftlich mitgeteilt.
Lausanne, 1. September 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Häberli