Sachverhalt: A. X._ war Gesellschafter der Kollektivgesellschaft A._, welche unter anderem den Betrieb einer Gärtnerei für ethnobotanische Pflanzen bezweckte. Seit 1. Juni 2003 hatte die Gesellschaft ihren Betrieb an in Brunnen, wo sie in einer Indoor-Anlage auf einer Fläche von rund 585 m2 Hanf anbaute. Gestützt auf einen vom Verhöramt Schwyz erteilten Durchsuchungsbefehl führte die Kantonspolizei Schwyz am 7. Juni 2004 am Geschäftsdomizil der Gesellschaft Hausdurchsuchungen durch und stellte unter anderem insgesamt rund 26,4 kg Hanf mit einem THC-Gehalt von über 0,3 % sicher (15,12 kg Hanfblüten; 11,28 kg Hanfpflanzen mit Stängel). Der zuständige Untersuchungsrichter verfügte gleichentags im Strafverfahren gegen X._ und die weiteren Kollektivgesellschafter Y._ und Z._ den amtlichen Beschlag über die Hanfpflanzen. Das Kantonsgericht Schwyz hiess am 17. Mai 2005 eine dagegen erhobene Beschwerde teilweise gut und wies die Sache im Übrigen zur Neubeurteilung im Sinne der Erwägungen und zur Aufhebung der Beschlagnahme an das Verhöramt zurück. Mit Verfügung vom 13. Juni 2005 hielt der zuständige Untersuchungsrichter fest, dass sämtliche beschlagnahmten Hanfpflanzen beschlagnahmt blieben. Eine dagegen erhobene Beschwerde hiess das Kantonsgericht Schwyz am 26. Mai 2006 wiederum gut, gab die Infrastrukturanlagen samt Hanfrohstoff frei und ermächtigte das Verhöramt, geeignete Auflagen und Kontrollen zu verfügen. Am 5. Juli 2006 wurde die Kollektivgesellschaft A._ gelöscht. Am 8. September 2006 teilte X._ dem Untersuchungsrichter mit, der Hanfrohstoff sei zufolge falscher Lagerung verschimmelt und mehr oder weniger wertlos geworden. Die Mitgesellschafter Y._ und Z._ traten am 13. Mai 2007 allfällige Ansprüche gegenüber dem Kanton aus Staatshaftung an X._ ab. B. X._ erhob am 30. Mai 2007 beim Verwaltungsgericht des Kantons Schwyz Klage gegen den Kanton Schwyz mit dem Rechtsbegehren, der Beklagte sei zu verpflichten, ihm Fr. 391'141.60 nebst Zins zu 5 % seit dem 7. Juni 2004 zu bezahlen. Zudem beantragte er unentgeltliche Prozessführung und Rechtsverbeiständung. In der Replik vom 19. November 2007 verlangte X._ zudem die Durchführung einer öffentlichen mündlichen Verhandlung. Mit Urteil vom 2. April 2008 wies das Verwaltungsgericht die Klage ab, ohne eine öffentliche Verhandlung durchgeführt zu haben. Eine gegen dieses Urteil erhobene Beschwerde hiess das Bundesgericht am 1. September 2008 gut und wies die Sache zu neuem Entscheid an das Verwaltungsgericht zurück (BGE 134 I 331); es erwog, das Verwaltungsgericht habe Art. 6 Ziff. 1 EMRK verletzt, indem es trotz rechtzeitig gestelltem Antrag keine öffentliche Verhandlung durchgeführt habe. C. In der Folge bestellte das Verwaltungsgericht den Spruchkörper samt Gerichtsschreiber neu und zog die Strafakten bei, aus denen sich ergab, dass X._ letztinstanzlich mit Urteil des Bundesgerichts vom 25. August 2009 (Urteil 6B_421/2009) der Widerhandlung gegen Art. 19 Ziff. 1 BetmG schuldig gesprochen und mit einer Geldstrafe von 150 Tagessätzen bestraft worden war. Mit Eingabe vom 9. September 2010 änderte X._ das Rechtsbegehren dahin ab, dass er die Schadenersatzforderung auf Fr. 105'612.-- (nebst Zins zu 5 % seit 7. Juni 2004) reduzierte. Am 16. September 2010 führte das Verwaltungsgericht eine mündliche Verhandlung durch und wies mit Urteil vom 21. Oktober 2010 die Klage und das Gesuch um unentgeltliche Rechtspflege ab. D. X._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht mit dem Antrag, das Urteil des Verwaltungsgerichts sei aufzuheben und der Kanton Schwyz sei zu verpflichten, ihm Fr. 105'612.-- nebst Zins zu 5 % seit 7. Juni 2004 zu bezahlen. Eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Zudem beantragt er die unentgeltliche Prozessführung für das vorinstanzliche und das bundesgerichtliche Verfahren. Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde und der Regierungsrat des Kantons Schwyz auf Abweisung, soweit auf die Beschwerde einzutreten sei.