Sachverhalt: A. A.a. Am... endete das Arbeitsverhältnis des B.A._ bei der C._ AG. Im Dezember 2009 überwies die Personalvorsorgestiftung B._ die Freizügigkeitsleistung von Fr. 124'020.50 auf ein Freizügigkeitskonto bei der Stiftung Auffangeinrichtung BVG. Diese übertrug ein Jahr später auf Ersuchen von B.A._ ein Freizügigkeitsguthaben von Fr. 125'287.84 an die Freizügigkeitsstiftung der Bank D._. A.b. Im Dezember 2010 meldete sich B.A._ bei der Invalidenversicherung zum Leistungsbezug an. Mit Vorbescheid vom 16. April 2012 teilte ihm die IV-Stelle Bern mit, er habe ab 1. November 2011 Anspruch auf eine ganze Invalidenrente. Eine Kopie des Vorbescheids sowie der Mitteilung vom 29. Mai 2012 an die für die Berechnung und Auszahlung der Rente zuständige Ausgleichskasse wurde auch der Personalvorsorgestiftung B._ zugestellt. Auf ihr Gesuch vom 16. Juli 2012 mit dem Hinweis, dass B.A._ gemäss "Verfügung vom 29. Mai 2012 der Eidg. Invalidenversicherung (...) ab 1. November 2011 eine 100 % Invalidenrente erhält", überwies die Freizügigkeitsstiftung der Bank D._ die Freizügigkeitsleistung von Fr. 128'426.04 (Valuta 18. Juli 2012) an sie zurück. Am 13. Juli 2012 verfügte die IV-Stelle im Sinne des Vorbescheids. Mit Schreiben vom 6. August 2012 schickte A.A._, der Sohn des Versicherten und zwischenzeitlich dessen Vertreter u.a. in berufsvorsorgerechtlichen Angelegenheiten, der Personalvorsorgestiftung B._ mit dem Vermerk "Wie telefonisch besprochen" eine Kopie der Verfügung zu. A.c. Mit Schreiben vom 22. August 2012 teilte die Personalvorsorgestiftung B._ A.A._ mit, sein Vater habe ab 1. November 2011 Anspruch auf eine Invalidenrente der beruflichen Vorsorge in der Höhe von Fr. 1'467.- im Monat. Zum 1. Januar 2013 und 1. Januar 2014 wurde die Rente jeweils um Fr. 15.- erhöht. Am... verstarb B.A._. In der Folge ersuchte A.A._ um Ausrichtung der Freizügigkeitsleistung von Fr. 128'426.- zuzüglich Zins seit 18. Juli 2012 allenfalls unter Anrechnung der bezogenen Invalidenrenten, was die Personalvorsorgestiftung B._ jedoch ablehnte. B. Am 8. Oktober 2014 erhob A.A._ Klage gegen die Personalvorsorgestiftung B._, welche das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, mit Entscheid vom 16. September 2016 abwies (Dispositiv-Ziffer 1), wobei es dem Kläger wegen mutwilliger Prozessführung die Verfahrenskosten von Fr. 500.- zur Bezahlung auferlegte (Dispositiv-Ziffer 2) und ihn zum Ersatz der Parteikosten von pauschal Fr. 4'500.- verpflichtete (Dispositiv-Ziffer 3). C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A.A._, der Entscheid vom 16. September 2016 sei aufzuheben und die Personalvorsorgestiftung B._ sei zu verpflichten, das Freizügigkeitsguthaben seines verstorbenen Vaters, ausmachend Fr. 128'426.04, zuzüglich Zins an ihn auszurichten oder an die Freizügigkeitsstiftung der Bank D._ zurück zu überweisen; weiter sei die Sache zur Neuverlegung der Parteikosten für das erstinstanzliche Verfahren an die Vorinstanz zurückzuweisen. Die Personalvorsorgestiftung B._ ersucht um Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. A.A._ hat Bemerkungen zu den Ausführungen der Personalvorsorgestiftung B._ gemacht (Eingabe vom 14. Dezember 2016).