Sachverhalt: A. A.a. Mit Urteil vom 9. Juli 1995 des Amtsgerichtspräsidenten von Bucheggberg-Wasseramt wurde die Ehe von A.A._ (geboren 1941) und B.A._ (geboren 1944) geschieden und die Scheidungskonvention der Parteien über die nacheheliche Unterhaltsregelung genehmigt. Demnach leistet A.A._ an B.A._ einen monatlich vorauszahlbaren und indexierten Unterhaltsbeitrag von Fr. 3'200.-- gemäss aArt. 152 ZGB. Der Unterhaltsbeitrag reduziert sich unter anderem um die Höhe allfälliger Leistungen privater Vorsorgeeinrichtungen und/oder öffentlicher Sozialversicherungen infolge Arbeitsunfähigkeit der Gläubigerin. A.b. B.A._ bezieht seit September 2008 eine ordentliche AHV-Rente, welche die bisherige Rente der Invalidenversicherung abgelöst hat. A.A._ brachte zunächst die IV-Rente und danach die AHV-Rente vom monatlichen Unterhaltsbeitrag in Abzug. A.c. Mit Zahlungsbefehl vom 11. Dezember 2012 betrieb B.A._ A.A._ für ausstehende Unterhaltsbeiträge vom 1. September 2008 bis 31. Dezember 2012 von insgesamt Fr. 113'951.05 zuzüglich Zins (Betreibung Nr. xxx des Betreibungsamts Region Solothurn). Der Betriebene erhob Rechtsvorschlag. Der Amtsgerichtspräsident von Solothurn-Lebern wies das Rechtsöffnungsgesuch von B.A._ für die in Betreibung gesetzten Unterhaltsbeträge am 6. Mai 2013 ab. Das darauf angerufene Obergericht des Kantons Solothurn hiess ihre Beschwerde am 28. Juni 2013 gut und erteilte ihr die definitive Rechtsöffnung im beantragten Umfang von Fr. 113'951.05 zuzüglich Zinsen und Kosten. Es erwog dazu, der Wortlaut der Scheidungskonvention sei klar und eine Herabsetzung der Unterhaltsrente von B.A._ nach ihrem Eintritt ins AHV-Alter darin nicht vorgesehen. Dieses Urteil blieb unangefochten. B. Am 20. September 2013 erhob A.A._ beim Amtsgericht Solothurn-Lebern eine Klage gegen B.A._. Er beantragte gestützt auf Art. 85a SchKG festzustellen, dass die geforderte Unterhaltsschuld von Fr. 113'951.05 zuzüglich Zinsen und Kosten nicht bestehe. Die Betreibung Nr. xxx des Betreibungsamtes Region Solothurn sei daher vollumfänglich aufzuheben. Das Amtsgericht hiess die Klage am 20. August 2014 gut. Die von B.A._ dagegen erhobene Berufung wurde vom Obergericht am 22. April 2015 gutgeheissen, womit die Klage von A.A._ abgewiesen wurde. C. A.A._ ist mit Beschwerde in Zivilsachen vom 19. Mai 2015 an das Bundesgericht gelangt. Der Beschwerdeführer beantragt die Aufhebung des obergerichtlichen Urteils und die Rückweisung der Sache zur neuen Beurteilung an die Vorinstanz, allenfalls sei das erstinstanzliche Urteil zu bestätigen. Die Oberrichter C._, D._ und E._ sowie die Oberrichterin F._ und der Gerichtsschreiber G._ seien zu verpflichten, wegen Vorbefassung in den Ausstand zu treten. Der Beschwerdeführer ersucht um die Gewährung der aufschiebenden Wirkung für das bundesgerichtliche Verfahren. Das Obergericht hat auf eine Vernehmlassung zum Gesuch um aufschiebende Wirkung verzichtet. B.A._ (Beschwerdegegnerin) hat sich dem Gesuch widersetzt. Mit Verfügung vom 8. Juni 2015 hat das Bundesgericht der Beschwerde die aufschiebende Wirkung zuerkannt. In der Sache hat das Obergericht am 1. Dezember 2015 beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten ist. Die Beschwerdegegnerin schliesst am 4. Dezember 2015 auf vollumfängliche Abweisung der Beschwerde und stellt ein Gesuch um unentgeltliche Prozessführung. Der Beschwerdeführer hat am 4. Januar 2016 repliziert. Die Beschwerdegegnerin hat sich am 14. Januar 2016 nochmals vernehmen lassen.