Sachverhalt:
A.
B._, geboren 1951, sri-lankischer Staatsangehöriger, reiste am 6. Februar 1989 in die Schweiz ein und stellte ein Asylgesuch. Das Bundesamt für Flüchtlinge wies das Gesuch am 24. September 1996 ab und ordnete die vorläufige Aufnahme an. Am 22. Februar 1999 erhielt B._ eine Aufenthaltsbewilligung und am 23. Februar 2009 die Niederlassungsbewilligung.
B._ ist seit 6. Februar 1980 mit der sri-lankischen Staatsangehörigen A._, geboren 1961, verheiratet, mit der er vier Kinder hat.
B.
Am 5. März 2013/12. Juni 2013 ersuchten B._ bzw. A._ um Bewilligung für den Familiennachzug bzw. Erteilung eines Visums für den langfristigen Aufenthalt in der Schweiz. Das Gesuch wurde mit Verfügung des Migrationsamts des Kantons Zürich vom 3. Dezember 2013 abgewiesen.
C.
Einen dagegen erhobenen Rekurs wies die Sicherheitsdirektion mit Entscheid vom 10. März 2014 ab.
D.
Dagegen erhoben B._ und A._ Beschwerde an das Verwaltungsgericht des Kantons Zürich. Dieses wies die Beschwerde mit Urteil vom 20. August 2014 ab; zugleich wies es das Gesuch um unentgeltliche Rechtspflege ab.
E.
B._ und A._ erheben mit Eingabe vom 6. Oktober 2014 Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, in Aufhebung des angefochtenen Entscheids sei das Gesuch um Familiennachzug zu bewilligen, eventualiter sei die Sache an die Vorinstanz zu neuem Entscheid zurückzuweisen. Zudem beantragen sie unentgeltliche Rechtspflege.
Das Verwaltungsgericht verzichtet auf Vernehmlassung. Das Bundesamt für Migration (ab 1. Januar 2015: Staatssekretariat für Migration) beantragt Abweisung der Beschwerde.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist zulässig, da die Beschwerdeführer in vertretbarer Weise gestützt auf Art. 43 AuG (SR 142.20) und Art. 8 EMRK einen Anspruch auf die nachgesuchte Bewilligung geltend machen (Art. 82 lit. a, Art. 83 lit. c Ziff. 2, Art. 86 Abs. 1 lit. d, Art. 90 BGG).
2.
Ausländische Ehegatten von Personen mit Niederlassungsbewilligung haben Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen (Art. 43 Abs. 1 AuG). Der Anspruch auf Familiennachzug muss innerhalb von fünf Jahren geltend gemacht werden (Art. 47 Abs. 1 AuG). Die Frist beginnt in der hier vorliegenden Konstellation mit der Erteilung der Aufenthalts- oder Niederlassungsbewilligung oder der Entstehung des Familienverhältnisses (Art. 47 Abs. 3 lit. b AuG) bzw. mit dem Inkrafttreten des AuG (1. Januar 2008), sofern vor diesem Zeitpunkt die Einreise erfolgt oder das Familienverhältnis entstanden ist (Art. 126 Abs. 3 AuG). Ein nachträglicher Familiennachzug wird nur bewilligt, wenn wichtige familiäre Gründe geltend gemacht werden (Art. 47 Abs. 4 AuG).
3.
Die fünfjährige Frist ist mit dem am 5. März 2013 gestellten Gesuch unbestritten nicht eingehalten. Streitig ist einzig, ob wichtige familiäre Gründe im Sinne von Art. 47 Abs. 4 AuG bestehen.
3.1. Die Bewilligung des Nachzugs nach Ablauf der Fristen hat nach dem Willen des Gesetzgebers die Ausnahme zu bleiben, soll die Fristenregelung nicht ihres Sinns entleert werden. Ein nachträglicher Nachzug kommt nicht in Betracht, wenn der Nachzugswillige die Einhaltung von Fristen, die ihm die Zusammenführung der Familie ermöglicht hätte, versäumt hat und keine gewichtigen Gründe geltend macht, um erst später einen derartigen Nachzug zu beantragen (Urteile 2C_303/2014 vom 20. Februar 2015 E. 6.1 und 6.6; 2C_205/2011 vom 3. Oktober 2011 E. 4.4). Namentlich dort, wo die Familie selber die Trennung freiwillig herbeigeführt hat, bedarf es stichhaltiger Gründe, die zum Wohle der Familie eine andere Lösung erforderlich machen (Urteile 2C_900/2012 vom 25. Januar 2013 E. 3.4.1; 2C_205/2011 vom 3. Oktober 2011 E. 4.5; 2C_800/2010 vom 22. März 2011 E. 2.2). So wurde ein nachträglicher Nachzug verweigert, wenn Frau und Kinder bisher bereits im Ausland getrennt vom Vater lebten und weiterhin dort leben konnten (zit. Urteil 2C_205/2011 E. 4.5). Dabei ist Art. 47 Abs. 4 Satz 1 AuG bzw. Art. 73 Abs. 3 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit (VZAE; SR 142.201) jeweils aber dennoch so zu handhaben, dass der Anspruch auf Schutz des Familienlebens nach Art. 8 EMRK bzw. <ref-law> nicht verletzt wird (Urteil 2C_276/2011 vom 10. Oktober 2011 E. 4.1, nicht publ. in: <ref-ruling>; Urteile 2C_303/2014 vom 20. Februar 2015 E. 6.1; 2C_97/2013 vom 26. August 2013 E. 2.3; 2C_132/2012 vom 19. September 2012 E. 2.3.1).
3.2. Die Vorinstanz hat erwogen, der Beschwerdeführer lebe seit 25 Jahren in der Schweiz, habe aber den grössten Teil seines Lebens in Sri Lanka verbracht und sei regelmässig zu seiner dort ansässigen Familie zurückgekehrt. Er scheine nicht über das Übliche hinaus in der Schweiz integriert zu sein. Er erziele ein Einkommen von monatlich Fr. 5'500.-, sei nie von der Sozialhilfe unterstützt worden, doch liege ein offener Verlustschein von Fr. 22'880.- gegen ihn vor. Er sei nur einmal wegen Drohung zu einer Busse von Fr. 200.- verurteilt worden. Er leide seit längerer Zeit an einer Schlafapnoe, mache aber nicht geltend, dass eine entsprechende Behandlung nur in der Schweiz möglich wäre. Die Beschwerdeführerin habe keine nähere Beziehung zur Schweiz. Sie habe ihren Ehemann hier drei Mal besucht. Die Kinder seien erwachsen und lebten in England und Malaysia. Der Beschwerdeführer stehe kurz vor dem Pensionsalter; in Sri Lanka würde ihm zwar keine AHV-Rente ausbezahlt, doch könne er sich bei der Ausreise die einbezahlten Beiträge auszahlen lassen (<ref-law>). Die Beschwerdeführer möchten in der Schweiz ihren Lebensabend verbringen und die Beschwerdeführerin mache selber geltend, sie möchte in der Schweiz weder eine Arbeitsstelle suchen noch sich bildungsmässig integrieren. Diese geltend gemachten Gründe seien keine wichtigen familiären Gründe im Sinne von Art. 47 Abs. 4 AuG.
3.3. Die Beschwerdeführer bringen vor, die in Art. 47 AuG geregelten Fristen seien in erster Linie auf den Nachzug von Kindern zugeschnitten, um einen rechtsmissbräuchlichen Nachzug kurz vor Volljährigkeit zu ermöglichen. Für Erwachsene spiele diese Überlegung kaum eine Rolle. Der Beschwerdeführer sei sozial, kulturell und wirtschaftlich in der Schweiz integriert und habe seinen Lebensmittelpunkt in der Schweiz. Bei einer Rückkehr nach Sri Lanka müsste er seine Existenzgrundlage aufgeben und könnte sich dort nicht mehr wirtschaftlich integrieren. Die Kapitalauszahlung der AHV wäre zudem tiefer als der Bezug der Rente. Die Kinder hätten bis zum Abschluss ihres Studiums im Elternhaus in Sri Lanka gelebt, das jüngste bis Ende 2012. Die Beschwerdeführerin habe daher Betreuungs- und Erziehungsaufgaben wahrnehmen müssen, weshalb ein früherer Familiennachzug nicht möglich gewesen sei. Sie könnte sich sprachlich und sozial in der Schweiz integrieren und es bestehe keine Gefahr der Sozialhilfeabhängigkeit. Die Verweigerung des Familiennachzugs sei ein unverhältnismässiger Eingriff in das Recht auf Familienleben.
4.
4.1. Die mit dem AuG neu eingeführte Frist für den Familiennachzug wurde in der Botschaft damit begründet, dass durch einen frühen Familiennachzug die Integration von Kindern wesentlich erleichtert werde. Zudem werden Gesuche um Nachzug der Kinder verhindert, welche rechtsmissbräuchlich erst kurz vor Erreichen des erwerbsfähigen Alters gestellt werden, ohne dass eine echte Familiengemeinschaft angestrebt werde (Botschaft vom 8. März 2002 zum Bundesgesetz über die Ausländerinnen und Ausländer, BBl 2002 3754 f. Ziff. 1.3.7.7; Urteil 2C_303/2014 vom 20. Februar 2015 E. 6.1). Nach der fünfjährigen Frist könne ein Familiennachzugsgesuch nur noch bewilligt werden, wenn wichtige Gründe im Einzelfall nachgewiesen werden könnten. Dies sei etwa der Fall, wenn bei Kindern die weiterhin notwendige Betreuung im Herkunftsland nicht mehr gewährleistet sei. Massgebend sei das Kindesinteresse, wobei wirtschaftliche Gründe nicht ausschlaggebend sein könnten (BBl 2002 3794 Ziff. 2.6 zu Art. 46 E-AuG). Demgemäss liegen nach <ref-law> wichtige familiäre Gründe nach Artikel 47 Absatz 4 AuG vor, wenn das Kindswohl nur durch einen Nachzug in die Schweiz gewahrt werden kann. Die bisherige bundesgerichtliche Rechtsprechung zu Art. 47 Abs. 4 AuG hat sich denn auch zum Nachzug von Kindern geäussert. Nach dem klaren Wortlaut des Gesetzes und dem Willen des Gesetzgebers (BBl 2002 3754 Ziff. 1.3.7.7) gelten jedoch die Fristen auch für die Ehegatten (Urteil 2C_205/2011 vom 3. Oktober 2011 E. 4.3; Martina Caroni, in: Bundesgesetz über die Ausländerinnen und Ausländer [AuG], Caroni/Gächter/Thurnherr [Hrsg.], 2010, N. 5 zu Art. 47; Marc Spescha, in: Migrationsrecht, Spescha/Thür/Zünd/Bolzli [Hrsg.], 3. Aufl. 2012, N. 2 zu Art. 47). Nach der Rechtsprechung zu Art. 47 Abs. 4 AuG ist nicht ausschliesslich auf das Kindeswohl abzustellen, sondern eine Gesamtschau unter Berücksichtigung aller relevanten Elemente im Einzelfall vorzunehmen (Urteile 2C_303/2014 vom 20. Februar 2015 E. 6.1; 2C_888/2011 vom 20. Juni 2012 E. 3.1). Entgegen der Auffassung der Beschwerdeführer hat die Fünfjahresfrist durchaus auch die Funktion der Einwanderungsbegrenzung: Wie aus der parlamentarischen Debatte zum Gesetz klar hervorgeht, ist die ganze Regelung des Familiennachzugs ein Kompromiss zwischen den konträren Anliegen, das Familienleben zu ermöglichen und die Einwanderung zu begrenzen (AB 2004 N 739 ff., 2005 S 305 ff.), was auch ein legitimes Interesse ist, um im Sinne von Art. 8 Ziff. 2 EMRK das Recht auf Familienleben einzuschränken (<ref-ruling> E. 4.1.2; <ref-ruling> E. 2.1). Ein Antrag, die Nachzugsfristen ganz zu streichen, wurde u.a. auch mit dem Argument begründet, sie seien für den Nachzug von Erwachsenen nicht sinnvoll (Votum Leutenegger Oberholzer, AB 2004 N 761), drang aber nicht durch (AB 2004 N 764). Art. 43 AuG will grundsätzlich den Niedergelassenen das gemeinsame Familienleben in der Schweiz ermöglichen. Wenn aber eine Familie freiwillig jahrelang getrennt gelebt hat, dann dokumentiert sie damit, dass ihr an einem gemeinsamen Familienleben nicht sehr viel liegt, so dass das Interesse an der Einwanderungsbeschränkung überwiegt, solange nicht wichtige familiäre Gründe etwas anderes nahelegen.
4.2. Vorliegend hat das Ehepaar rund 25 Jahre getrennt gelebt, der Beschwerdeführer in der Schweiz, die Beschwerdeführerin in Sri Lanka. Zwar ist der Beschwerdeführer ursprünglich als Asylbewerber in die Schweiz gekommen, aber er hat nach den unbestrittenen und für das Bundesgericht verbindlichen (<ref-law>) Feststellungen der Vorinstanz regelmässig seine Familie in Sri Lanka besucht, sodass ihm offenbar der dortige Aufenthalt nicht durch flüchtlingsrelevante Umstände unmöglich oder unzumutbar gewesen wäre. Solches macht er denn auch nicht geltend. Es ist damit festzuhalten, dass die Ehegatten freiwillig ihre jahrzehntelange Trennung herbeigeführt haben. Für eine Bewilligung des nachträglichen Familiennachzugs müssten somit gewichtige Gründe vorliegen (vorne E. 3.1). In diesem Zusammenhang vermögen die Vorbringen der Beschwerdeführer nicht zu überzeugen, wonach es der Beschwerdeführerin wegen Erziehungs- und Betreuungspflichten nicht möglich gewesen wäre, das Gesuch früher zu stellen: Nach eigenen Angaben der Beschwerdeführer ist das jüngste Kind im Jahre 1986 geboren und war im Jahre 2012 26-jährig. Dass es pflege- oder sonst wie betreuungsbedürftig gewesen wäre, wird nicht geltend gemacht. Es kann somit nicht gesagt werden, die Beschwerdeführerin habe in diesem Zeitpunkt noch Betreuungs- und Erziehungsaufgaben wahrnehmen müssen und aus diesem Grund das Familiennachzugsgesuch nicht rechtzeitig stellen können. Wollen die Ehegatten jetzt wieder zusammenziehen, um ihren Lebensabend gemeinsam verbringen zu können, so ist es dem Beschwerdeführer ohne weiteres möglich und zumutbar, in seine Heimat zurückzuziehen. Als einzigen Grund, weshalb ihm dies nicht zumutbar sein soll, führt er an, er würde damit seine berufliche Existenz in der Schweiz und seine AHV-Rente verlieren. Indessen steht der Beschwerdeführer kurz vor seiner Pensionierung, sodass das Element der beruflichen Existenz stark an Bedeutung verliert. Will er die Zeit bis zum Pensionsalter noch in der Schweiz berufstätig sein, so ist diese Trennungszeit kurz verglichen mit der langen Zeit, die er bisher bereits freiwillig getrennt von seiner Frau gelebt hat. Was die AHV-Rente betrifft, so kann davon ausgegangen werden, dass selbst dann, wenn die Beitragsrückzahlung nach <ref-law> (zu der noch die Ansprüche des Beschwerdeführers aus der zweiten Säule hinzukommen) tiefer ist als die Rente wäre, der Beschwerdeführer kaufkraftbereinigt in Sri Lanka damit besser fährt als in der Schweiz.
4.3. Auch aus Art. 8 EMRK können unter diesen Umständen keine weitergehenden Ansprüche abgeleitet werden.
4.3.1. Nach ständiger Praxis des EGMR und des Bundesgerichts gewährt Art. 8 EMRK dem Ausländer oder einem ausländischen Ehepaar nicht das Recht, frei wählen zu können, wo sie das Familienleben zu führen gedenken (<ref-ruling> E. 2b/cc; Urteile des EGMR i.S. Konstantinov gegen Niederlande vom 26. April 2007 [Nr. 16351/03] § 48; i.S. Gül gegen Schweiz vom 19. Februar 1996 § 38; NATHANAËL PETERMANN, Les obligations positives de l'Etat dans la jurisprudence de la Cour européenne des droits de l'homme, 2014, S. 286 ff.; MINH SON NGUYEN, in: Amarelle/Christen/Nguyen [Hrsg.], Migrations et regroupement familial, 2012, S. 146 ff.). Aus Art. 8 EMRK ergibt sich weder ein Recht auf Einreise noch auf Wahl des für das Familienleben am geeignetsten erscheinenden Orts. Das in Art. 8 EMRK geschützte Recht auf Achtung des Familienlebens kann nur angerufen werden, wenn eine staatliche Entfernungs- oder Fernhaltemassnahme zur Trennung von Familienmitgliedern führt (<ref-ruling> E. 4.1.1). Muss ein Ausländer, dem eine fremdenpolizeiliche Bewilligung verweigert worden ist, das Land verlassen oder kann nicht einreisen, haben dies seine Angehörigen - besondere Umstände vorbehalten - hinzunehmen, wenn ihnen eine Ausreise "ohne Schwierigkeiten" möglich ist; eine Interessenabwägung nach Art. 8 Ziff. 2 EMRK erübrigt sich unter diesen Umständen. Anders verhält es sich falls die Ausreise für die Familienangehörigen "nicht von vornherein ohne weiteres zumutbar" erscheint. In diesem Fall ist immer eine Interessenabwägung nach Art. 8 Ziff. 2 EMRK geboten, welche sämtlichen Umständen des Einzelfalls umfassend Rechnung trägt (<ref-ruling> E. 2.1. S. 155 mit Hinweisen; <ref-ruling> E. 3d S. 158).
4.3.2. Nach Art. 8 Ziff. 2 EMRK ist ein Eingriff in das durch Ziff. 1 geschützte Rechtsgut statthaft, soweit er eine Massnahme darstellt, die in einer demokratischen Gesellschaft für die nationale Sicherheit, die öffentliche Ruhe und Ordnung, zur Verhinderung von strafbaren Handlungen, zum Schutz der Gesellschaft und Moral sowie der Rechte und Pflichten anderer notwendig ist. Die Konvention verlangt eine Abwägung zwischen den widerstreitenden Interessen an der Erteilung der Bewilligung einerseits und an deren Verweigerung andererseits, wobei Letztere in dem Sinne überwiegen müssen, dass sich der Eingriff als notwendig erweist (vgl. <ref-ruling> E. 2.1; <ref-ruling> E. 2 S. 6 mit Hinweisen; <ref-ruling> E. 3 S. 357 ff.).
4.3.3. Der Beschwerdeführer lebt seit über 25 Jahren in der Schweiz und verliert bei der Ausreise seinen Anspruch auf die AHV-Rente, auch wenn er zumindest die geleisteten Beiträge zurückerhält. Es ist ihm deshalb nicht von vorneherein ohne weiteres zumutbar, in sein Heimatland zurückzukehren, hat er dabei doch gewichtige Nachteile zu tragen. Ansonsten ist er aber nicht über das Übliche hinaus in der Schweiz integriert. Die Ehegatten haben während langer Zeit freiwillig getrennt gelebt und das Eheleben grösstenteils in ihrem Heimatland verbracht. Dem Familiennachzug stehen das öffentliche Interesse an der Durchsetzung einer restriktiven Einwanderungspolitik sowie das Ziel einer möglichst frühzeitigen Integration entgegen. Die Beschwerdeführerin hat selber erklärt, dass sie in der Schweiz weder beabsichtigt eine Arbeitsstelle zu suchen noch gewillt ist, sich bildungsmässig zu integrieren. Aufgrund der fehlenden Integrationsbereitschaft überwiegen die öffentlichen Interessen an der Fernhaltung die nicht sehr ausgeprägten privaten Interessen am Familiennachzug. Der angefochtene Entscheid ist somit auch unter dem Blickwinkel von Art. 8 EMRK gerechtfertigt. Es ist den Beschwerdeführern unter diesen Umständen zumutbar, ihr Familienleben weiterhin so zu leben, wie sie es in den letzten 25 Jahren selber gestaltet haben.
5.
Die Beschwerde erweist sich damit als unbegründet. Da es bisher keine bundesgerichtliche Rechtsprechung zu Art. 47 Abs. 4 AuG im Zusammenhang mit dem Nachzug von Ehegatten gibt und immerhin eine vorinstanzliche Minderheitsmeinung vorliegt, konnte die Beschwerde nicht als aussichtslos betrachtet werden, so dass die beantragte unentgeltliche Rechtspflege vor Bundesgericht gewährt werden kann (<ref-law>). Eine Entschädigung an den Rechtsvertreter fällt nicht in Betracht, da dieser nicht Anwalt ist (<ref-law>). Sodann besteht kein Anlass, die vorinstanzliche Nichtgewährung der unentgeltlichen Rechtspflege zu korrigieren, da keine diesbezügliche Rüge (<ref-law>) vorliegt.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen. Es werden keine Gerichtskosten erhoben.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 4. Abteilung, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 18. Mai 2015
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Mösching