Sachverhalt:
A.
Der deutsche Staatsangehörige A.A._ (geb. 1973) reiste am 7. Mai 1984 in die Schweiz ein (Jahresbewilligung in Romanshorn, Kanton Thurgau) und zog im September 1987 zwecks Ausbildung am X._ nach U._ um (Wochenaufenthalter in U._). Von Juni 1993 bis März 1997 hielt er sich wiederum in Romanshorn auf (BWL-Studium an der Universität St. Gallen), bevor er 1997 offiziell mit Niederlassungsbewilligung C nach U._ übersiedelte, wo er damals zusammen mit seinem Bruder B.A._ eine Eigentumswohnung besass. Die Kontrollfrist der Niederlassungsbewilligung C wurde ihm in den Jahren 2000, 2003 und 2008 jeweils verlängert. Nach dem Tod seiner Mutter übernahm A.A._ zwei weitere Stockwerkeinheiten in dem von ihm bewohnten Mehrfamilienhaus in U._.
Am 24. Januar 2013 beantragte A.A._ erneut eine Verlängerung der Kontrollfrist der Niederlassungsbewilligung C. Auf dem entsprechenden Formular gab er als Aufenthaltszweck "selbständige Erwerbstätigkeit" an und deklarierte seinen Zivilstand mit "verheiratet" in "getrenntem Haushalt". Seine Ehefrau und die vier gemeinsamen Kinder leben in V._/Bayern, wo die Kinder auch zur Schule gehen. Mit Verfügung vom 10. Juli 2013 stellte das Amt für Migration und Zivilrecht des Kantons Graubündens (AFM) fest, dass die Niederlassungsbewilligung von A.A._ von Gesetzes wegen erloschen ist.
B.
Das Departement für Justiz, Sicherheit und Gesundheit des Kantons Graubünden bestätigte mit Entscheid vom 15. November 2013 diese Verfügung. Eine von A.A._ dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Urteil vom 20. Januar 2015 ab.
C.
A.A._ gelangt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragt, das Urteil des Verwaltungsgerichts sei aufzuheben und es sei gerichtlich festzustellen, dass die Niederlassungsbewilligung C nicht erloschen sei. Das Amt für Migration und Zivilrecht des Kantons Graubünden sei anzuweisen, ihm die Verlängerung der Kontrollfrist der Niederlassungsbewilligung C zu erteilen.
Der Abteilungspräsident legte der Beschwerde am 13. Mai 2015 antragsgemäss aufschiebende Wirkung bei.
Das Verwaltungsgericht, das Amt für Migration und Zivilrecht, das Departement für Justiz, Sicherheit und Gesundheit des Kantons Graubünden und das Staatssekretariat für Migration beantragen, die Beschwerde sei abzuweisen.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den kantonal letztinstanzlichen Endentscheid betreffend den Widerruf oder die Feststellung des Erlöschens einer Niederlassungsbewilligung ist zulässig (Art. 82 lit. a, Art. 83 lit. c [e contrario], Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG; <ref-ruling> E. 1.2.1 S. 4). Auf die form- und fristgerecht eingereichte Beschwerde ist einzutreten (Art. 42 Abs. 2 und Art. 100 Abs. 1 BGG).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, wie die Vorinstanz ihn festgestellt hat (<ref-law>). Es kann diesen bloss berichtigen oder ergänzen, wenn er offensichtlich unrichtig oder in Verletzung wesentlicher Verfahrensrechte ermittelt worden ist (<ref-law>). Die beschwerdeführende Person muss rechtsgenügend dartun, dass und inwiefern der festgestellte Sachverhalt bzw. die beanstandete Beweiswürdigung klar und eindeutig mangelhaft, mit anderen Worten willkürlich, erscheint (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 4.1.2 S. 62; <ref-ruling> E. 1.4.3; <ref-ruling> E. 1.3). Auf rein appellatorische Kritik an der Sachverhaltsermittlung und an der Beweiswürdigung geht das Bundesgericht nicht ein (<ref-ruling> E. 3 S. 104 f.).
2.
2.1. Die Beurteilung der vorliegenden Angelegenheit richtet sich einerseits nach dem Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20). Andererseits kann sich der Beschwerdeführer als deutscher Staatsangehöriger auch auf das Abkommen vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft und der Europäischen Gemeinschaft und ihren Mitgliedstaaten über die Freizügigkeit (Freizügigkeitsabkommen, FZA; SR 0.142.112.681) berufen. Im Anwendungsbereich des FZA hat das AuG nur insoweit Geltung, als das FZA keine abweichende Bestimmung enthält oder das AuG günstigere Bestimmungen vorsieht (Art. 2 Abs. 2 AuG).
2.2. Im vorliegenden Fall steht der Widerruf bzw. das Erlöschen einer Niederlassungsbewilligung C EU/EFTA zur Diskussion. Diese Bewilligung ist im FZA nicht geregelt; dieses hat damit nur insoweit Bedeutung, als die Ausgestaltung des Landesrechts nicht einen staatsvertraglich gewährleisteten Anspruch vereiteln darf (vgl. Urteil 2C_408/ 2010 vom 15. Dezember 2010 E. 3). Gemäss Art. 5 der Verordnung vom 22. Mai 2002 über die Einführung des freien Personenverkehrs (VEP; SR 142.203) erhalten EU- und EFTA-Angehörige eine unbefristete Niederlassungsbewilligung EU/EFTA gestützt auf Art. 34 AuG und die Art. 60-63 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit (VZAE; SR 142.201) sowie nach Massgabe der von der Schweiz abgeschlossenen Niederlassungsvereinbarungen (<ref-ruling> E. 4.2 S. 55; <ref-ruling> E. 3.3 S. 258). In Bezug auf das Erlöschen der Niederlassungsbewilligung kann das FZA nicht gänzlich vernachlässigt werden (Urteil 2C_408/ 2010 vom 15. Dezember 2010 E. 3.2). Die Niederlassungsbewilligung EU/EFTA erlischt gemäss der Bestimmung von Art. 61 AuG, was im Einklang mit dem FZA steht (vgl. Art. 6 Abs. 5, Art. 12 Abs. 5 und Art. 24 Abs. 6 Anhang 1 FZA, wonach Aufenthaltsunterbrechungen, die sechs aufeinander folgende Monate nicht überschreiten, sowie eine durch Militärdienst gerechtfertigte Abwesenheit die Gültigkeit der Aufenthaltserlaubnis nicht berühren).
2.3. Gemäss Art. 61 Abs. 2 AuG erlischt die Niederlassungsbewilligung unter anderem dann, wenn sich der Ausländer, ohne sich abzumelden, während sechs Monaten tatsächlich im Ausland aufhält. Diese Regelung steht im Einklang mit Art. 6 Abs. 5 Anhang 1 FZA. Nach der Rechtsprechung ist dieser Tatbestand auch erfüllt, wenn der Ausländer während eines grösseren Zeitraums landesabwesend ist, jeweils vor Ablauf von sechs Monaten für beschränkte Zeit in die Schweiz zurückkehrt, dies aber bloss zu Geschäfts- oder Besuchszwecken tut. Dies gilt selbst dann, wenn der Ausländer in der Schweiz noch eine Wohnung zur Verfügung hat. Bei solchen Verhältnissen (wiederholte längere Aufenthalte im Heimatland über mehrere Jahre hinweg, unterbrochen durch mehr oder weniger lange Anwesenheiten in der Schweiz) wird - anders als üblicherweise - die Frage nach dem Lebensmittelpunkt zum ausschlaggebenden Kriterium (<ref-ruling> E. 2c und d S. 372 f.; vgl. zum Ganzen auch Urteil 2C_831/2010 vom 27. Mai 2010 E. 5.1 mit Hinweisen).
3.
Die Vorinstanz schloss aus der vorliegenden Familiensituation darauf, dass sich der Lebensmittelpunkt des Beschwerdeführers in V._/Bayern befindet, wo seine Ehefrau lebt und die vier gemeinsamen Kinder zur Schule gehen. Eine solche Familienkonstellation bei gleichzeitigem Fehlen von besonderen Faktoren wie gerichtliche Trennung, grosser Altersunterschied etc., welche nach eigenen Angaben des Beschwerdeführers nicht vorliegen, führe zur natürlichen Vermutung, dass sich der Lebensmittelpunkt des Familienvaters am Wohnsitz seiner Familie befindet. Dem Beschwerdeführer sei es nicht gelungen, genügend glaubhaft zu machen, dass sein Lebensmittelpunkt nach wie vor an seinem Arbeitsort in U._ in der Schweiz und nicht am Wohnort seiner Familie in Deutschland liege. Folglich sei die Niederlassungsbewilligung von Gesetzes wegen erloschen.
4.
Vorab ist die Rüge des Beschwerdeführers zu prüfen, wonach die Vorinstanz seinen Anspruch auf rechtliches Gehör (<ref-law>) verletzt habe, weil sie die von ihm beantragte Einvernahme diverser Zeugen abgelehnt habe. Diese hätten nach Ansicht des Beschwerdeführers bestätigen können, dass er sich mehrheitlich in U._ aufhalte.
4.1. Dem Anspruch auf rechtliches Gehör lässt sich keine allgemeine Pflicht der Behörde zur Abnahme aller angebotenen Beweise und zur Würdigung sämtlicher Argumente entnehmen. Die Abweisung eines Beweisantrags erweist sich namentlich als zulässig, falls die Verwaltungs- oder Gerichtsbehörde sich ihre Meinung aufgrund zuvor erhobener Beweise bereits bilden konnte und sie ohne Willkür in vorweggenommener, antizipierter Beweiswürdigung annehmen darf, die gewonnene Überzeugung werde durch weitere Beweiserhebungen nicht erschüttert (<ref-ruling> E. 5.3 S. 236; <ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 3 S. 157; Urteil 2C_545/2012 vom 22. Februar 2013 E. 2.2). Die Beweiswürdigung, selbst wenn sie auf Indizien beruht, und die sich daraus ergebenden tatsächlichen Schlussfolgerungen stellen Tatfragen dar (<ref-ruling> E. 6.1 S. 485, 504 E. 3.2 S. 507; <ref-ruling> E. 3.3 S. 399; Urteil 2C_353/2013 vom 23. Oktober 2013 E. 3.3). Solche sind unter dem beschränkten Gesichtswinkel der Willkür zu prüfen (vorne E. 1.2).
4.2. Bei der Abweisung von Beweisanträgen in antizipierter Beweiswürdigung ist Zurückhaltung geboten, wird damit doch der Anspruch auf das rechtliche Gehör eingeschränkt. Es darf nicht leichthin angenommen werden, dass das Beweisergebnis aufgrund der bereits abgenommenen Beweise feststeht. Lehnt die Behörde den Beweisantrag ab, hat sie nicht nur darzulegen, weshalb sie aufgrund der bereits abgenommenen Beweise eine bestimmte Überzeugung gewonnen hat, sondern auch, weshalb die beantragte Beweismassnahme aus ihrer Sicht nichts an ihrer Überzeugung zu ändern vermag (Urteil 6B_358/ 2013 vom 20. Juni 2013 E. 3.4).
4.3. Die Vorinstanz lehnte die beantragte Befragung diverser Freunde und Nachbarn des Beschwerdeführers als Zeugen ab, einerseits weil von der Mehrheit dieser Zeugen bereits schriftliche Stellungnahmen vorlagen und keine neuen Erkenntnisse zu erwarten waren, andererseits weil die Zeugen die relativ häufigen und regelmässigen Aufenthalte des Beschwerdeführers in U._ bestätigen sollten, welche die Vorinstanz aber nicht in Zweifel zog. Umstritten ist nur, ob diese regelmässigen Besuche in U._ ausreichen, damit der Lebensmittelpunkt des Beschwerdeführers dort und nicht bei seiner Familie in Deutschland liegt. Dies ist jedoch eine Frage der Beweiswürdigung und ist nur unter dem beschränkten Blickwinkel der Willkür zu prüfen. Eine Verletzung des rechtlichen Gehörs liegt nicht vor.
5.
Gemäss der Rechtsprechung zum zivilrechtlichen Wohnsitz befindet sich der Mittelpunkt der Lebensbeziehungen bei verheirateten Personen üblicherweise am Wohnort der Familie, nicht am Arbeitsort. Dies gilt auch für diejenigen Personen, welche am Arbeitsort übernachten und lediglich am Wochenende nach Hause fahren sowie für den Geschäftsmann, welche die grössere Zeit des Jahres im Ausland verbringt. Der Wochenaufenthalts- und Arbeitsort wird zum Wohnsitz, wenn die Familie bloss noch in grossen und unregelmässigen Abständen besucht wird. Lässt die Arbeitszeit häufigere Besuche nicht zu, so genügt eine Rückkehr pro Monat zur Beibehaltung des Wohnsitzes am Wohnort der Familie (DANIEL STAEHELIN, in: Basler Kommentar, Zivilgesetzbuch I, 5. Aufl. 2014 N. 11 zu <ref-law> mit Hinweisen).
5.1. Die Vorinstanz vermutete aufgrund der familiären Situation des verheirateten Beschwerdeführers (vgl. E. 3), dass dieser seinen Lebensmittelpunkt bei seiner Familie in Deutschland habe. Tatsächliche Vermutungen können sich in allen Bereichen der Rechtsanwendung ergeben, namentlich auch im öffentlichen Recht. Es handelt sich dabei um Wahrscheinlichkeitsfolgerungen, die auf Grund der Lebenserfahrung gezogen werden. Als Problem der Beweiswürdigung berührt die tatsächliche Vermutung weder die Beweislast noch die das Verwaltungsverfahren beherrschende Untersuchungsmaxime. Letztere gebietet zwar, dass die Verwaltung auch nach entlastenden, das heisst die Vermutung erschütternden Elementen sucht. Nun liegt es beim vorliegend zur Diskussion stehenden Thema in der Natur der Sache, dass solche der Verwaltung oft nicht bekannt sein dürften und nur der Betroffene darüber Bescheid weiss. Es ist daher Sache des Betroffenen, der nicht nur zur Mitwirkung, sondern auch zur Beweisbeschaffung verpflichtet ist (Art. 90 AuG), die Vermutung durch den Gegenbeweis bzw. erhebliche Zweifel umzustürzen, indem er Gründe bzw. Sachumstände aufzeigt, die es als überzeugend (nachvollziehbar) erscheinen lassen, dass sein Lebensmittelpunkt in der Schweiz liegt (vgl. <ref-ruling> E. 3.2 S. 486 mit Hinweisen).
5.2. Der Beschwerdeführer reichte jedoch verschiedene von den Behörden eingeforderte Unterlagen wie die Kreditkartenabrechnungen oder die Steuerveranlagung nicht ein, weil dies seine Privatsphäre zu stark beeinträchtigen würde. Auch wenn das Steuerdomizil nicht zwingend mit dem ausländerrechtlichen Status übereinstimmen muss, würde eine unbeschränkte Steuerpflicht doch zumindest auf einen Wohnsitz in der Schweiz hindeuten (Urteil 2C_831/2010 vom 27. Mai 2011 E. 5.4). Die Folgen dieses Versäumnisses hat der Beschwerdeführer selbst zu tragen. Mit den ihr zugänglich gemachten Belegen (Heizkostenabrechnung, Telefonrechnung, Kontoauszug), welche den Lebensmittelpunkt des Beschwerdeführers in der Schweiz beweisen sollten, setzte sich die Vorinstanz ausführlich auseinander. Mehr als häufige und regelmässige Aufenthalte liessen sich dadurch aber nicht bestätigen. Solche reichen aber nicht aus, um die tatsächliche Vermutung, dass sich der Lebensmittelpunkt des verheirateten Beschwerdeführers in Deutschland bei seiner Familie befindet, umzustossen. Daran würde sich nur etwas ändern, wenn die familiäre Beziehung nicht mehr gelebt würde oder er wegen den Arbeitszeiten nicht mehr regelmässig nach Deutschland zurückkehren könnte. Der Beschwerdeführer macht jedoch beides nicht geltend. Insbesondere legt er nicht dar, aus welchen Gründen er sich als Angestellter der in Stuttgart ansässigen Familiengesellschaft nicht regelmässig in Deutschland aufhalten sollte, obschon er nach eigenen Angaben auch dort Liegenschaften verwaltet. Die tatsächliche Vermutung zum Lebensmittelpunkt des Beschwerdeführers kann nicht als willkürlich gelten und das Bundesgericht ist demnach an die Sachverhaltsfeststellung der Vorinstanz gebunden (vgl. <ref-law>).
6.
Der Beschwerdeführer rügt, die Vorinstanz habe Art. 61 Abs. 2 AuG falsch angewendet und dadurch Bundesrecht verletzt.
6.1. Seine Niederlassungsbewilligung habe nicht erlöschen können, weil er sich weder während sechs Monaten tatsächlich im Ausland aufgehalten habe noch während eines grösseren Zeitraumes landesabwesend gewesen sei. Wie von der Vorinstanz verbindlich festgehalten, sei er oft und regelmässig, d.h. mehrheitlich in der Schweiz gewesen. Es treffe deshalb nicht zu, dass er jeweils vor Ablauf der sechsmonatigen Frist für beschränkte Zeit bloss zu Geschäfts- oder Besuchszwecken zurück gekehrt sei. Folglich sei es nicht möglich, auf ihn die bundesgerichtliche Rechtsprechung zu Art. 61 Abs. 2 AuG anzuwenden, welche für solche Situationen ausnahmsweise den Lebensmittelpunkt zum ausschlaggebenden Kriterium erkläre. Seine Situation sei auch keinesfalls vergleichbar mit dem von der Vorinstanz zitierten Urteil 2C_831/2010 vom 27. Mai 2011. Dieses betreffe Ausländer, welche in der Schweiz arbeiteten und regelmässig am Abend zu ihrer Familie heimkehrten. Solches sei ihm aufgrund der grossen Distanzen gar nicht möglich gewesen, es handle sich bei ihm somit nicht um einen "unechten Grenzgänger". Ebenso wenig treffe auf ihn der dem Urteil 2C_147/2010 vom 22. Juni 2010 zugrunde liegende Sachverhalt zu. Der fragliche Niederlassungsberechtigte habe sich im Gegensatz zu ihm vorwiegend im Ausland aufgehalten und sei nur für Besuchszwecke, Arzttermine sowie zum Abheben von Geld in die Schweiz zurückgekehrt.
6.2. Die Argumentation des Beschwerdeführers verfängt nicht. Zwar hielt er sich wahrscheinlich mehr und häufiger in der Schweiz auf, als die niederlassungsberechtigten Personen in der zitierten bundesgerichtlichen Rechtsprechung. Dennoch erfüllt auch er die dort aufgeführten Voraussetzungen, welche zum Erlöschen der Niederlassungsbewilligung gemäss Art. 61 Abs. 2 AuG führen. Entscheidend ist, dass er seinen Lebensmittelpunkt seit geraumer Zeit am Wohnort seiner Familie in Deutschland hat und nur zu Geschäfts- und Besuchszwecken in die Schweiz zurückkehrt. Es besteht kein Anlass, die diesbezüglich gefestigte Rechtsprechung des Bundesgerichts zu ändern (neben den bereits zitierten Urteile vgl. ebenfalls Urteil 2C_609/2011 vom 3. April 2012 E. 3.2; 2C_540/2011 vom 19. Dezember 2011 E. 3.2 sowie ZÜND/ARQUINT HILL, in: Uebersax/Rudin/Hugi Yar/Geiser [Hrsg.], Ausländerrecht, 2. Aufl. 2009, Rz. 8.9; THOMAS HUGI YAR, Von Trennungen, Härtefällen und Delikten - Ausländerrechtliches rund um die Ehe- und Familiengemeinschaft, in: Achermann/Amerelle/Caroni/ Epiney/Kälin/Uebersax, Jahrbuch für Migrationsrecht 2012/2013, S. 111 f.). Es ist nicht ersichtlich, aus welchen Gründen die Niederlassungsgbewilligung einer Person zu belassen ist, deren Lebensmittelpunkt sich mittlerweile ins Ausland verschoben hat. Eine Niederlassungsbewilligung soll dem Ausländer viel mehr ermöglichen, dauerhaft in der Schweiz zu leben und sich in die hiesige Gesellschaft zu integrieren. Sie bezweckt indessen nicht, dem Ausländer eine Anwesenheitsberechtigung einzuräumen, auf die er sich falls nötig eines Tages berufen kann (Urteil 2C_609/2011 vom 3. April 2012 E. 3.4).
6.3. Hat der Beschwerdeführer keinen Wohnsitz in der Schweiz, verstösst es auch nicht gegen das FZA, wenn ihm hier keine Niederlassungsbewilligung erteilt wird.
7.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen. Der unterliegende Beschwerdeführer trägt die Gerichtskosten (<ref-law>). Es sind keine Parteientschädigungen geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Graubünden, 1. Kammer, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 31. Mai 2016
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Mösching