Sachverhalt:
A.
A.a. B.A._ war 1960 geboren und mit A.A._ verheiratet. Tochter C.A._ ist 1998, Sohn D.A._ 2000 geboren. B.A._ war als Anwalt im Kanton Appenzell Ausserrhoden mit einem Pensum von 65 % tätig. Am ... 2007 verstarb er. Mit Entscheid vom 24. Oktober 2008 beschied die Pensionskasse Appenzell Ausserrhoden der Witwe, das hypothetische Einkommen sei aufgrund eines Beschäftigungsgrades von 65 % festzulegen. Es lägen keine konkreten Hinweise dafür vor, dass der Versicherte am 1. Januar 2008 mit überwiegender Wahrscheinlichkeit das Pensum erhöht oder neben der Anstellung als Anwalt andere Einkünfte erzielt hätte. Die von A.A._ beim Verwaltungsgericht Appenzell Ausserrhoden gegen die Rentenfestsetzung erhobene Klage wies dieses mit Entscheid vom 21. Oktober 2009 und das Bundesgericht die dagegen eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten mit Urteil 9C_249/2010 vom 14. Mai 2010 ab.
A.b. Die Pensionskasse eröffnete A.A._ am 22. Oktober 2013 einen "Rentenbescheid" mit Wirkung ab Anfang 2013. Sie wies darauf hin, da für eine Erhöhung des Beschäftigungsgrades bzw. eine berufliche Karriere des Verstorbenen keine konkreten Hinweise bestehen würden, werde der mutmassliche Verdienst weiterhin ausgehend von einem Pensum von 65 % berechnet.
B.
Gegen diesen "Bescheid" liess A.A._ mit Schreiben vom 9. Dezember 2013 beim Obergericht Appenzell Ausserrhoden Klage erheben. In teilweiser Gutheissung der Klage erkannte dieses mit Entscheid vom 2. Juli 2014, die Pensionskasse habe A.A._ ab 1. August 2013 Leistungen auf der Grundlage eines Beschäftigungsgrades des verstorbenen Ehemanns von 80 % auszurichten.
C.
Die Pensionskasse erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragt die Aufhebung des vorinstanzlichen Entscheids und vollumfängliche Abweisung der Klage.
A.A._ beantragt die Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Streitig ist die Frage nach dem hypothetischen Beschäftigungsgrad des verstorbenen Versicherten ab 1. August 2013 sowie nach einer allfälligen Überentschädigung.
3.
3.1. Die Vorinstanz entschied, bei der Beantwortung der Frage, mit welchem Beschäftigungsgrad der Verstorbene zum massgeblichen Zeitpunkt erwerbstätig gewesen wäre, würden Änderungen nur berücksichtigt, wenn deren Eintritt sehr wahrscheinlich sei. Blosse Absichtserklärungen genügten nicht. Bei der Festsetzung des mutmasslich entgangenen Verdienstes sei den spezifischen Gegebenheiten und tatsächlichen Chancen des Versicherten auf dem jeweiligen Arbeitsmarkt Rechnung zu tragen. Für den Beweis dieser hypothetischen Tatsache sei der Beweisgrad der überwiegenden Wahrscheinlichkeit erforderlich. Vorliegend hätten bereits im Jahr 2008 an der Schule Tagesstrukturen für die Kinder bestanden, was den Verstorbenen nicht zu einer Erhöhung seines Pensums veranlasst habe. Auch habe er drei Tage vor seinem Unfalltod ausdrücklich keine Erhöhung seines Arbeitspensums beantragt. Der Übertritt des jüngeren Kindes in die Oberstufe stelle nun jedoch einen relevanten Umstand dar: Es dürfe mit überwiegender Wahrscheinlichkeit davon ausgegangen werden, dass der Verstorbene nun wieder zu 80 % erwerbstätig geworden wäre, wie er es schon vor der Geburt der Kinder gewesen sei. Die Pensionskasse habe deshalb ab 1. August 2013 Leistungen auf der Grundlage eines Beschäftigungsgrades von 80 % auszurichten.
3.2. Die Beschwerdeführerin rügt, die Vorinstanz habe den Sachverhalt unrichtig festgestellt, wenn sie davon ausgegangen sei, dass der Übertritt des Sohnes in die Oberstufe mit Bezug auf die Betreuungsarbeit eine erhebliche Entlastung zur Folge gehabt hätte. Dies anzunehmen sei bei einem unveränderten Sachverhalt willkürlich und offensichtlich unrichtig, jedoch entscheidrelevant.
3.3. Die Beschwerdegegnerin hält dagegen, beide Kinder besuchten nun die Oberstufe und benötigten keine Mittagsbetreuung mehr. Die Vorinstanz sei nach Abwägung der persönlichen, familiären, sozialen und finanziellen Verhältnisse zu Recht zum Schluss gekommen, dass der Versicherte wie vor der Geburt der Kinder heute wieder zu 80 % arbeiten würde. Es sei sogar davon auszugehen, dass er sich als Rechtsanwalt neu orientiert und nicht einfach sein Arbeitspensum am gleichen Ort aufgestockt hätte. Die Sachverhaltsfeststellung sei deshalb weder offensichtlich unrichtig noch beruhe sie auf einer Rechtsverletzung.
3.4. Die Vorinstanz hat den Sachverhalt keineswegs offensichtlich unrichtig festgestellt, wenn sie davon ausgegangen ist, dass der Übertritt des jüngeren Sohnes in die Oberstufe eine Anpassung des Pensums des Vaters zur Folge gehabt hätte. Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint (vgl. statt vieler Urteil 9C_853/2014 vom 23. Juni 2015 E. 1). Davon, dass der gleiche Sachverhalt (selbst bestehende Tagesstrukturen an den Schulen hatten eine Pensenerhöhung nicht überwiegend wahrscheinlich gemacht) unterschiedlich beurteilt und damit der Grundsatz von Treu und Glauben verletzt werde, kann nicht die Rede sein. Mit dem Übertritt des jüngeren Sohnes in die Oberstufe geht eine insgesamt weitergehende Selbstständigkeit beider Kinder einher, die - unabhängig einer schulisch angebotenen Tagesstruktur, deren Inanspruchnahme (insbesondere die nachschulischen Obhutsmöglichkeiten) nicht zwingend war - zu mehr Spielraum geführt hätte. Wohl hat die Vorinstanz diesen Umstand nicht explizit ausformuliert. Dessen ungeachtet enthält der vorinstanzliche Entscheid in diesem Punkt die nötigen Erwägungen, damit die Beschwerdeführerin diesen sachgerecht anfechten konnte. Eine Verletzung des Anspruchs auf rechtliches Gehör ist deshalb ebenfalls zu verneinen.
4.
Die Klage geht auf einen betraglich festgelegten Betrag und beinhaltete den Antrag, es sei auf eine Kürzung der Hinterlassenenrenten ab 1. August 2013 zu verzichten. Die Vorinstanz hat nicht darüber, insbesondere nicht über das Massliche, befunden, sondern (implizit) die Sache an die Beschwerdeführerin zurück gewiesen, damit diese Leistungen auf der Grundlage eines Beschäftigungsgrades des verstorbenen Versicherten von 80 % ausrichte. Dies geht nicht an (vgl. <ref-ruling> E. 3.3 S. 453; Urteil 9C_849/2011 vom 13. August 2012).
5.
Nach dem Gesagten wird das kantonale Gericht über die ihm unterbreiteten Klagebegehren masslich entscheiden und die sich dabei (vorgängig) aufdrängenden zusätzlichen Abklärungen und Fragen, vor allem in Bezug auf die anwendbare Überentschädigungsregelung, durchführen und beurteilen.
6.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten der Beschwerdegegnerin aufzuerlegen (<ref-law>; Urteil 9C_75/2015 vom 11. Mai 2015 E. 5).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Obergerichts Appenzell Ausserrhoden, 3. Abteilung, vom 2. Juli 2014 wird aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3.
Dieses Urteil wird den Parteien, dem Obergericht Appenzell Ausserrhoden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Juli 2015
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Glanzmann
Der Gerichtsschreiber: Schmutz