Sachverhalt:
A. B._ war ab 1. August 2002 bei der Gemeinde X._ unbefristet als Lehrer angestellt. Am 26. Februar 2009 wurde er wegen des Vorwurfs sexueller Handlungen mit den Kindern seiner Lebenspartnerin verhaftet. Im Beisein von Vertretern der Polizei fanden am 3. und 5. März 2009 Besprechungen zwischen B._, seiner Rechtsvertreterin, dem Rektor sowie (am 5. März 2009) auch der Gemeindepräsidentin statt. Die Gemeinde X._ teilte B._ nach der Besprechung vom 5. März 2009 noch am gleichen Tag schriftlich mit, das Anstellungsverhältnis werde angesichts der Vorfälle sofort aufgelöst. Eine Kopie dieses Schreibens wurde der Rechtsvertreterin von B._ zugestellt. Am 25. März 2009 erhob B._ Verwaltungsbeschwerde beim Regierungsrat des Kantons Zug und machte geltend, die Kündigung sei missbräuchlich und es sei ihm eine Entschädigung in der Höhe von acht Monatslöhnen zu bezahlen. Der Regierungsrat hiess die Beschwerde mit Entscheid vom 23. Februar 2010 teilweise gut und verpflichtete die Gemeinde X._ zur Bezahlung von Fr. 75'318.40.
B. Mit Entscheid vom 1. März 2011 hiess das Verwaltungsgericht des Kantons Zug die von der Gemeinde X._ dagegen erhobene Beschwerde gut und hob den regierungsrätlichen Entscheid vom 23. Februar 2010 auf.
C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben und die Gemeinde X._ zu verpflichten, ihm den Betrag von Fr. 75'318.40 zu bezahlen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Das Verwaltungsgericht und die Gemeinde X._ schliessen auf Abweisung der Beschwerde.

Erwägungen:
1. Die Sachurteilsvoraussetzungen sind erfüllt, da die Beschwerde unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) von einer durch die Entscheidung besonders berührten Partei mit einem schutzwürdigen Interesse an deren Aufhebung oder Änderung (<ref-law>) eingereicht wurde und sich das Rechtsmittel gegen einen von einer letzten kantonalen Instanz (<ref-law>) gefällten Endentscheid (<ref-law>) in einer Angelegenheit des öffentlichen Rechts (<ref-law>) richtet und keine der in <ref-law> erwähnten Ausnahmen greift. Zudem ist auch die Streitwertgrenze von <ref-law> überschritten. Auf die Beschwerde ist demnach einzutreten.
2. Der Beschwerdeführer rügt, die Vorinstanz habe den Sachverhalt offensichtlich unrichtig sowie unter Verletzung von Bundesrecht im Sinne von <ref-law> festgestellt. Zudem macht er geltend, er habe nie Gelegenheit erhalten, sich zur fristlosen Kündigung zu äussern, weshalb sein rechtliches Gehör verletzt sei und ihm eine Entschädigung zustehe.
3. 3.1 Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
Gemäss <ref-law> hat jede Person Anspruch darauf, von den staatlichen Organen ohne Willkür behandelt zu werden. Nach der Rechtsprechung ist eine Entscheidung willkürlich, wenn sie eine Norm oder einen klaren und unumstrittenen Rechtsgrundsatz offensichtlich schwer verletzt, sich mit sachlichen Gründen schlechthin nicht vertreten lässt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Willkürliche Rechtsanwendung liegt zudem nicht schon vor, wenn eine andere Lösung vertretbar oder sogar vorzuziehen wäre (<ref-ruling> E. 4.1 S. 133; <ref-ruling> E. 3.1 S. 153 mit Hinweisen).
3.2 Die Vorinstanz hat die massgeblichen Unterlagen und Aussagen ausführlich dargelegt. Sie hat die einzelnen Beweise gewürdigt und ist zum Ergebnis gelangt, die Behauptung des Beschwerdeführers, er habe nur zur Frage der Kommunikation seiner Abwesenheit vom Schulbetrieb gegenüber den Eltern seiner Schüler, der Schule und der Öffentlichkeit Stellung beziehen können, sei unzutreffend. Es sei auf Grund der Würdigung aller Tatsachen und der konkreten Umstände davon auszugehen, dass mit ihm nicht nur über die Frage der Kommunikation, sondern auch der Entlassung diskutiert worden sei, und dass er Gelegenheit erhalten habe, sich dazu zu äussern.
Die Ausführungen in der Beschwerde sind nicht geeignet, diese Beweiswürdigung als willkürlich erscheinen zu lassen. Vielmehr ist erstellt, dass den Beteiligten vor der Gemeinderatssitzung vom 5. März 2009 klar sein musste, dass an dieser Sitzung über die fristlose Auflösung des Arbeitsverhältnisses befunden werde. Daran konnte auf Grund der schwerwiegenden Verfehlungen des Beschwerdeführers, die offensichtlich einen sachlichen Grund für eine fristlose Kündigung darstellen und die er bereits zu jenem Zeitpunkt offen eingestanden hatte, gestützt auf sein Schreiben an den Rektor vom 3. März 2009 und der weiteren Korrespondenz via Email kein Zweifel bestehen. Der Beschwerdeführer durfte zu jenem Zeitpunkt und auch später nicht im Ansatz damit rechnen, etwas anderes als eine fristlose Auflösung des Arbeitsverhältnisses käme überhaupt in Frage.
4. Zu prüfen bleibt, ob gestützt auf den massgebenden Sachverhalt (E. 3) das Vorgehen der Gemeinde eine Verletzung des rechtlichen Gehörs des Beschwerdeführers darstellt.
4.1 Die Vorinstanz hat die massgebenden Grundsätze und Bestimmungen zum rechtlichen Gehör in E. 3 ihres Entscheids zutreffend dargelegt. Dem ist nichts anzufügen.
4.2 Es ist zutreffend, dass dem Beschwerdeführer die fristlose Kündigung nicht schriftlich angedroht und ihm dabei Gelegenheit zur Stellungnahme gegeben wurde. Nach der Rechtsprechung sind aber für die Gewährung des rechtlichen Gehörs die Umstände des Einzelfalls massgebend. Im hier zu beurteilenden Fall war dem Beschwerdeführer bewusst, dass nach seiner Inhaftierung nicht mehr mit einer Rückkehr an die Schule, sondern vielmehr mit einer sofortigen Beendigung des Arbeitsverhältnisses zu rechnen war (vgl. sein Schreiben an den Rektor vom 3. März 2009). Weiter ist in Betracht zu ziehen, dass die Angelegenheit - auch im Interesse des Beschwerdeführers - unter grossem Zeitdruck erledigt werden musste. Vor allem aber hat der Rektor in seiner Email vom 5. März 2009 an die Rechtsvertreterin des Beschwerdeführers festgehalten, dass die (für den Beschwerdeführer vorteilhafte) Formulierung nur verwendet werde, wenn der Gemeinderat den Beschluss zur fristlosen Auflösung des Arbeitsverhältnisses fälle. Angesichts dieser unmissverständlichen Aussage hätte die Rechtsvertreterin allfällige Einwände gegen eine fristlose Kündigung bei dieser Gelegenheit vorbringen müssen. Jedenfalls kann nicht gesagt werden, die fristlose Kündigung sei nie thematisiert worden. Die Rechtsvertreterin hat denn auch zweimal Änderungsvorschläge zur geplanten Formulierung im Rahmen der Elterninformation gemacht, jedoch keine Einwände gegen die fristlose Auflösung des Arbeitsverhältnisses erhoben. Entgegen der in der Beschwerde geäusserten Ansicht war unter Berücksichtigung der konkreten Umstände keine förmliche Ansetzung einer Frist zur Gewährung des rechtlichen Gehörs seitens der Gemeinde erforderlich. Schliesslich ist angesichts der zur Diskussion stehenden Delikte und ihrer Schwere auch aus objektiver Sicht offensichtlich, dass der Gemeinde keine andere Wahl blieb, als dem Beschwerdeführer sofort und fristlos seine Stelle als Lehrer zu kündigen. Daran ändert auch der Einwand nichts, der Beschwerdeführer arbeite inzwischen wieder als Lehrperson, weshalb er nicht habe davon ausgehen müssen, eine Rückkehr an die Schule sei ausgeschlossen; denn bei dieser neuen Anstellung handelt es sich nicht um eine Tätigkeit mit Kindern, sondern um eine im Rahmen der Erwachsenenbildung (vgl. Protokoll vom 13. August 2009 der Zeugenbefragung des Beschwerdeführers, Ziff. 1.4). Unter diesen Umständen kann von einer Verletzung des Anspruchs auf rechtliches Gehör (<ref-law>) keine Rede sein.
5. Das Verfahren ist kostenpflichtig. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (<ref-law>). Die Gemeinde hat keinen Anspruch auf eine Parteientschädigung, da sie in ihrem amtlichen Wirkungskreis tätig war (<ref-law>; vgl. Urteil 8C_1033/2010 vom 10. Juni 2011 E. 6 mit Hinweisen).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, schriftlich mitgeteilt.
Luzern, 20. Juli 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Riedi Hunold