Sachverhalt: A. A.a. B.A._ war 1960 geboren und mit A.A._ verheiratet. Tochter C.A._ ist 1998, Sohn D.A._ 2000 geboren. B.A._ war als Anwalt im Kanton Appenzell Ausserrhoden mit einem Pensum von 65 % tätig. Am ... 2007 verstarb er. Mit Entscheid vom 24. Oktober 2008 beschied die Pensionskasse Appenzell Ausserrhoden der Witwe, das hypothetische Einkommen sei aufgrund eines Beschäftigungsgrades von 65 % festzulegen. Es lägen keine konkreten Hinweise dafür vor, dass der Versicherte am 1. Januar 2008 mit überwiegender Wahrscheinlichkeit das Pensum erhöht oder neben der Anstellung als Anwalt andere Einkünfte erzielt hätte. Die von A.A._ beim Verwaltungsgericht Appenzell Ausserrhoden gegen die Rentenfestsetzung erhobene Klage wies dieses mit Entscheid vom 21. Oktober 2009 und das Bundesgericht die dagegen eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten mit Urteil 9C_249/2010 vom 14. Mai 2010 ab. A.b. Die Pensionskasse eröffnete A.A._ am 22. Oktober 2013 einen "Rentenbescheid" mit Wirkung ab Anfang 2013. Sie wies darauf hin, da für eine Erhöhung des Beschäftigungsgrades bzw. eine berufliche Karriere des Verstorbenen keine konkreten Hinweise bestehen würden, werde der mutmassliche Verdienst weiterhin ausgehend von einem Pensum von 65 % berechnet. B. Gegen diesen "Bescheid" liess A.A._ mit Schreiben vom 9. Dezember 2013 beim Obergericht Appenzell Ausserrhoden Klage erheben. In teilweiser Gutheissung der Klage erkannte dieses mit Entscheid vom 2. Juli 2014, die Pensionskasse habe A.A._ ab 1. August 2013 Leistungen auf der Grundlage eines Beschäftigungsgrades des verstorbenen Ehemanns von 80 % auszurichten. C. Die Pensionskasse erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragt die Aufhebung des vorinstanzlichen Entscheids und vollumfängliche Abweisung der Klage. A.A._ beantragt die Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.