Sachverhalt: A. P._, geboren 1972, ist bei der CSS Kranken-Versicherung AG (nachfolgend: CSS) obligatorisch krankenpflegeversichert. Gemäss Angaben des behandelnden Arztes Dr. med. K._, Gastroenterologie und Innere Medizin FMH, ist bei P._ seit 1990 eine Colitis ulcerosa (chronische Entzündung der Dickdarmschleimhaut) bekannt. Mit Schreiben vom 19. Dezember 2008 entsprach die CSS dem von Dr. med. K._ am 10. Dezember 2008 gestellten Antrag auf Kostengutsprache für die Behandlung mit dem Medikament Remicade. Am 29. März 2010 ersuchte Dr. med. K._ um deren Verlängerung. Die CSS verweigerte dies am 9. April 2010 mit der Begründung, die in der obligatorischen Krankenpflegeversicherung bei einem Ansprechen auf Remicade vorgesehene maximale Therapiedauer betrage ein Jahr. Für eine Behandlung über ein Jahr hinaus sei die Sicherheit und Wirksamkeit des Medikaments nicht belegt. Mit Verfügung vom 3. August 2010 und Einspracheentscheid vom 15. November 2010 lehnte sie die Übernahme der Kosten der Behandlung mit Remicade ab dem 14. Januar 2010 ab. B. Die von P._ erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 12. Mai 2011 ab. C. P._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt, der Entscheid des Verwaltungsgerichts sei aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen; eventualiter sei der Entscheid aufzuheben und die CSS zu verpflichten, die Behandlungskosten mit dem Medikament Remicade rückwirkend ab dem Zeitpunkt der Einstellung der Übernahme sowie für die Zukunft vollumfänglich zu übernehmen. Die CSS beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Vorinstanz beantragt deren Abweisung und das Bundesamt für Gesundheit verzichtet auf eine Vernehmlassung. Abschliessend äussert sich P._ zur Vernehmlassung der CSS.