Sachverhalt:
A.
Die 1949 geborene B._ war in einem Vollzeitpensum bei der C._ AG angestellt und über ihre Arbeitgeberin bei der Pensionskasse A._ (nachfolgend: Pensionskasse) für die berufliche Vorsorge und bei der SWICA Krankenversicherung AG (nachfolgend: Swica) für Krankentaggeld versichert, als sie ab dem 29. Januar 2010 zu 50 % arbeitsunfähig wurde. Ab Juli 2011 wurde sie in einer neuen Funktion und in reduziertem Pensum von 50 % von der bisherigen Arbeitgeberin weiterbeschäftigt. Die IV-Stelle des Kantons Freiburg sprach der Versicherten mit Verfügung vom 24. Juni 2014 eine halbe Invalidenrente ab 1. Januar 2011 bei einem Invaliditätsgrad von 52 % zu. Die Rentennachzahlung verrechnete sie für die Zeit vom 1. Januar 2011 bis 28. Februar 2012 und im Betrag von Fr. 14'632.25 mit einem entsprechenden Rückforderungsanspruch der Swica.
Mit Schreiben vom 12. September 2014 anerkannte die Pensionskasse einerseits einen Anspruch der B._ auf eine halbe Invalidenrente vom 1. Februar 2012 bis zur ordentlichen Alterspensionierung am 30. Juni 2013 und anderseits einen solchen auf eine Sparbeitragsbefreiung im Umfang von 50 % vom 1. Juli 2011 bis zum 30. Juni 2013. Über den Rentenanspruch für die Zeit vom 1. Januar 2011 bis zum 31. Januar 2012 fanden die Parteien keine Einigung.
B.
Mit Klage vom 28. April 2015 liess B._ für die Zeit vom 1. Januar 2011 bis zum 31. Januar 2012 eine reglementarische Invalidenrente (Invaliditätsgrad von 52 %) und für die Zeit vom 1. Mai bis 30. Juni 2011 eine Sparbeitragsbefreiung zu 50 % zuzüglich Verzugszins zu 5 % auf dem jeweiligen Saldobetrag beantragen. Die Pensionskasse schloss auf Abweisung der Klage, soweit darauf einzutreten sei.
Das Verwaltungsgericht des Kantons Bern hiess die Klage mit Entscheid vom 4. April 2016 teilweise gut und verpflichtete die Pensionskasse, der Versicherten für die Zeit vom 1. Januar 2011 bis zum 31. Januar 2012 eine reglementarische halbe Invalidenrente gestützt auf einen Invaliditätsgrad von 52 % auszurichten zuzüglich Zins zu 5 % seit dem 28. April 2015 sowie für die Zeit vom 1. Mai bis 30. Juni 2011 eine Sparbeitragsbefreiung im Umfang von 50 % zu gewähren. Soweit weitergehend, d.h. in Bezug auf den Verzugszins auf der Sparbeitragsbefreiung, wies es die Klage ab.
C.
Die Pensionskasse lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, der Entscheid vom 4. April 2016 sei aufzuheben und die Klage vom 28. April 2015 abzuweisen. Zudem ersucht sie um aufschiebende Wirkung der Beschwerde.
B._ lässt auf Abweisung des Rechtsmittels schliessen. Das Bundesamt für Sozialversicherungen (BSV) verzichtet auf eine Stellungnahme.

Erwägungen:
1.
1.1. Streitig und zu prüfen ist zunächst die Rentenzahlung für die Zeit vom 1. Januar 2011 bis zum 31. Januar 2012 und dabei namentlich, ob das kantonale Gericht zu Recht entschieden hat, die Rente dürfe nicht bis zur Erschöpfung der Krankentaggelder aufgeschoben werden.
1.2. Für den Beginn des Anspruchs auf Invalidenleistungen aus beruflicher Vorsorge gelten sinngemäss die entsprechenden Bestimmungen des <ref-law> (Art. 26 Abs. 1 BVG). Die Vorsorgeeinrichtung kann in ihren reglementarischen Bestimmungen vorsehen, dass der Anspruch aufgeschoben wird, solange der Versicherte den vollen Lohn erhält (Art. 26 Abs. 2 BVG).
Gestützt auf Art. 26 Abs. 2 und Art. 34a Abs. 1 BVG (<ref-ruling> E. 5b S. 25) hat der Bundesrat in Art. 26 (resp. Art. 27 in der bis Ende 2004 geltenden Fassung) der Verordnung vom 18. April 1984 über die berufliche Alters-, Hinterlassenen- und Invalidenvorsorge (BVV 2; SR 831.441.1) folgende Regelung erlassen: Die Vorsorgeeinrichtung kann den Anspruch auf Invalidenleistung bis zur Erschöpfung des Taggeldanspruchs aufschieben, wenn (a) der Versicherte anstelle des vollen Lohnes Taggelder der Krankenversicherung erhält, die mindestens 80 Prozent des entgangenen Lohnes betragen, und (b) die Taggeldversicherung vom Arbeitgeber mindestens zur Hälfte mitfinanziert wurde.
1.3. Das ab 1. Januar 2011 gültige Reglement der Pensionskasse (nachfolgend: Reglement) vermittelt Anspruch auf eine Invalidenrente, wenn eine versicherte Person vor der Pensionierung erwerbsunfähig wird. Für dessen Beginn verweist es sinngemäss auf <ref-law> (Ziff. 4.13 Abs. 1 Reglement).
Nach Ziff. 4.13 Abs. 2 Reglement wird die Invalidenrente in jedem Fall bis zum Wegfall der Lohnfortzahlung und bis zur Erschöpfung der Taggeldansprüche aufgeschoben, wenn (a) die versicherte Person anstelle des vollen Lohnes Taggelder der Krankenversicherung erhält, die mindestens 80 % des entgangenen Lohnes betragen, und (b) die Taggeldversicherung vom Arbeitgeber mindestens zur Hälfte mitfinanziert wurde. Die Bestimmung ist somit Grundlage für einen Rentenaufschub gemäss den gesetzlichen Bedingungen; sie betrifft sowohl den obligatorischen als auch den weitergehenden Bereich (vgl. Art. 49 BVG).
2.
2.1. Die Vorinstanz hat einen Rentenaufschub auf der Grundlage von Ziff. 4.13 Abs. 2 Reglement als grundsätzlich zulässig erachtet. Sie hat festgestellt, die Taggelder seien zwar zur Hälfte durch die Arbeitgeberin finanziert worden. Sie hätten aber ab 1. Januar 2011 nicht mehr 80 % des Bruttolohnes ausgemacht, weil die Swica die Rentennachzahlung der Invalidenversicherung beansprucht habe.
Weiter hat das kantonale Gericht auf die Rechtsprechung des Eidg. Versicherungsgerichts verwiesen (SZS 2006 S. 37, B 27/04 E. 2; <ref-ruling>) und insbesondere erwogen, Leistungen der Invalidenversicherung würden von Art. 26 BVV 2 nicht erfasst; sie würden auch nicht unter mindestens hälftiger Beteiligung des Arbeitgebers finanziert. Zudem stehe es den Vorsorgeeinrichtungen frei, im weitergehenden Bereich eine über die gesetzliche Regelung hinausgehende Aufschubsmöglichkeit zu stipulieren. Da im Rahmen von Art. 24 BVV 2Taggelder aus einer kollektiven Krankentaggeldversicherung nach VVG (SR 221.229.1) - wie jene der Swica - nicht zu berücksichtigen seien (<ref-ruling> E. 3b S. 249), könne ohne Weiteres davon ausgegangen werden, dass im konkreten Fall die kumulierten Invalidenrenten der Pensionskasse und der Invalidenversicherung die Überentschädigungsgrenze von 90 % des mutmasslich entgangenen Verdienstes nicht erreichten. Folglich hat es den Anspruch auf Auszahlung einer reglementarischen halben Invalidenrente (Ziff. 4.13 Abs. 7 Reglement) bejaht.
2.2. Die Pensionskasse macht im Wesentlichen geltend, die Vorinstanz habe Art. 26 Abs. 2 BVG und Art. 26 lit. a BVV 2 falsch ausgelegt und angewendet; der Aufschub der Invalidenrente aus beruflicher Vorsorge müsse auch zulässig sein, wenn die von der Invalidenversicherung geschuldete Rentennachzahlung von der Krankentaggeldversicherung beansprucht werde.
Die Beschwerdegegnerin hält dagegen, es bestehe kein Anlass für eine Änderung der Rechtsprechung; insbesondere verbiete der Wortlaut von Art. 26 BVV 2 einen Aufschub, wenn eine Krankentaggeldversicherung ihre Leistungen (teilweise) zurückfordere und diese dadurch nicht mehr 80 % des entgangenen Lohnes ausmachten.
3.
3.1.
3.1.1. Für die hier interessierende Frage lässt sich aus <ref-ruling> unmittelbar nichts ableiten: Dieser Entscheid hatte nicht den Rentenaufschub gemäss Art. 26 Abs. 2 BVG und Art. 26 BVV 2 zum Gegenstand, sondern - aufgrund der konkret massgeblichen Reglementsbestimmung - die Leistungskürzung nach den Koordinationsregeln gemäss Art. 24 BVV 2 (i.V.m. Art. 34 Abs. 2 BVG in der bis Ende 2002 geltenden Fassung [heute Art. 34a BVG]) resp. <ref-law> (<ref-ruling> E. 3a S. 248, E. 4d/bb S. 250 f. und E. 5c S. 253).
3.1.2. Im Zentrum steht hingegen das Urteil B 27/04 vom 21. Februar 2005. In dessen E. 2 wurde ausgeführt, dass Art. 26 Abs. 2 BVG und aArt. 27 BVV 2 nicht die Frage der Überentschädigung, sondern den Beginn des Anspruchs auf Invalidenleistungen zum Gegenstand hätten. Sodann entschied das Eidg. Versicherungsgericht, wohl gestützt auf den Wortlaut von aArt. 27 (heute Art. 26) BVV 2, ohne weitere Auseinandersetzung mit dieser Bestimmung und entgegen entsprechenden Lehrmeinungen (MARKUS MOSER, Zum Leistungs- und Koordinationsrecht aus Sicht der beruflichen Vorsorge - Betrachtungen anhand eines praktischen Anwendungsbeispiels, SZS 1997 S. 371; JEAN-LOUIS DUC, Coordination entre les prestations de l'assurance-maladie pour perte de salaire et celles de la prévoyance professionnelle, SZS 1998 S. 436 f.), dass die Rentenaufschubsmöglichkeit der Vorsorgeeinrichtung dahinfalle, wenn der Taggeldversicherer seine Leistungen im Umfang der nachträglich zugesprochenen Rente der Invalidenversicherung zurückfordert.
Zwar wurde diese Rechtsprechung in zwei Urteilen bestätigt (Urteile 9C_992/2012 vom 27. März 2013 E. 4.3.3; 9C_1026/2008 vom 24. August 2009 E. 7.2). Dabei befasste sich das Bundesgericht aber nicht mit der daran geübten Kritik der Lehre (vgl. MOSER/STAUFFER, Die Überentschädigungskürzung berufsvorsorgerechtlicher Leistungen im Lichte der Rechtsprechung, SZS 2008 S. 100 f.; dieselben, Ungereimtes zur Leistungskoordination, Schweizer Personalvorsorge [SPV] 2/2008 S. 92 [zit.: Ungereimtes]; HANS-ULRICH STAUFFER, Berufliche Vorsorge, 2. Aufl. 2012, S. 369 f. Rz. 1008; MARC HÜRZELER, in: BVG und FZG, 2010, N. 16 zu Art. 26 BVG; vgl. auch derselbe, Koordinationsfragen im BVG, in: Aktuelle Probleme des Koordinationsrechts, 2014, S. 156 f. [zit.: Koordinationsfragen]; FRANZ SCHLAURI, Die Leistungskoordination zwischen Berufsvorsorge, arbeitsrechtlicher Lohnfortzahlung und versicherungsmässigen Lohnfortzahlungssurrogaten, SZS 2007 S. 105 ff.) resp. mit den Hintergründen der gesetzlich vorgesehenen Aufschubsmöglichkeit (vgl. auch <ref-ruling> E. 3.2 S. 131). In Auslegung der Bestimmungen von Art. 26 Abs. 2 BVG und Art. 26 BVV 2 ist daher zu prüfen, ob Gründe für eine Praxisänderung (<ref-ruling> E. 4.5 S. 541 mit Hinweisen) vorliegen.
3.2. Das Gesetz muss in erster Linie aus sich selbst heraus, das heisst nach dem Wortlaut, Sinn und Zweck und den ihm zugrunde liegenden Wertungen auf der Basis einer teleologischen Verständnismethode ausgelegt werden. Die Gesetzesauslegung hat sich vom Gedanken leiten zu lassen, dass nicht schon der Wortlaut die Norm darstellt, sondern erst das an Sachverhalten verstandene und konkretisierte Gesetz. Gefordert ist die sachlich richtige Entscheidung im normativen Gefüge, ausgerichtet auf ein befriedigendes Ergebnis der ratio legis. Dabei befolgt das Bundesgericht einen pragmatischen Methodenpluralismus und lehnt es namentlich ab, die einzelnen Auslegungselemente einer hierarchischen Ordnung zu unterstellen (<ref-ruling> E. 4.2 S. 647; <ref-ruling> E. 4.3 S. 540 f., je mit Hinweisen).
Verordnungsrecht ist gesetzeskonform auszulegen. Es sind die gesetzgeberischen Anordnungen, Wertungen und der in der Delegationsnorm eröffnete Gestaltungsspielraum mit seinen Grenzen zu berücksichtigen (<ref-ruling> E. 4.2 S. 647; <ref-ruling> E. 3.1 S. 361).
3.3.
3.3.1. Zu Art. 26 BVG, der dem Wortlaut von Art. 24 des Gesetzesentwurfs entspricht (BBl 1976 I 295), wurde in der Botschaft vom 19. Dezember 1975 zum Bundesgesetz über die berufliche Alters-, Hinterlassenen- und Invalidenvorsorge (BBl 1976 I 149) ausgeführt, auch wenn der Lohn noch einige Zeit nach Eintritt der Invalidität ausgerichtet werde, sollte dies nicht dazu führen, dass dem Versicherten mehr Geldmittel zur Verfügung stehen als zur Zeit seiner Erwerbsfähigkeit. Der Begriff "Lohn" sei in diesem Zusammenhang im weitesten Sinne zu verstehen. Es fielen darunter auch Ersatzleistungen (z.B. Taggelder einer Krankenkasse), mit denen die Lohnzahlungspflicht des Arbeitgebers abgegolten wird (BBl 1976 I 233 Ziff. 521.33). Diese gesetzlich vorgesehene Aufschubsbefugnis hat der Verordnungsgeber insofern konkretisiert und limitiert, als Krankentaggelder nur dann als Lohnersatz anerkannt werden, wenn sie einerseits 80 % des entgangenen Lohnes abdecken und anderseits mindestens zur Hälfte vom Arbeitgeber finanziert werden, so dass "nicht der individuelle Charakter der Taggeldversicherung überwiegt" (Kommentar des BSV zum Entwurf der BVV 2 vom 2. August 1983 S. 42 [abrufbar unter http://www.bsv.admin.ch/themen/vorsorge/00039/02611/index.html?lang=de; nachfolgend: Kommentar BSV]).
3.3.2. Ein allfälliger Rentenaufschub gemäss Art. 26 Abs. 2 BVG hat - anders als das Eidg. Versicherungsgericht im Urteil B 27/04 angenommen zu haben scheint (E. 3.1.2) - nicht die Entstehung des Anspruchs auf eine Invalidenrente nach Ablauf einer bestimmten Karenzzeit zum Gegenstand. Die Bestimmung sieht einzig vor, dass die Vorsorgeeinrichtung die Erfüllung des Anspruchs aufschieben kann. Sie ist eine Koordinationsnorm und will verhindern, dass der Versicherte nach Eintritt des Invaliditätsfalles wirtschaftlich besser gestellt wird, als wenn er weiterhin voll arbeitsfähig wäre (<ref-ruling> E. 5b S. 26; Urteil 9C_704/2015 vom 8. August 2016 E. 4.3.2, zur Publikation vorgesehen). Als Spezialnorm zur Überentschädigungsregelung von Art. 34a Abs. 1 BVG i.V.m. Art. 24 BVV 2 (Urteil 9C_704/2015 vom 8. August 2016 E. 4.3.3, zur Publikation vorgesehen) bezieht sie sich auf das Verhältnis zwischen der Invalidenrente aus beruflicher Vorsorge und dem weiter ausgerichteten Lohn resp. dem Krankentaggeld. Diesbezüglich wollte der Gesetzgeber eine Koordinationsbefugnis zu Gunsten der beruflichen Vorsorge resp. zu Lasten des Arbeitgebers oder des Taggeldversicherers schaffen, und zwar explizit für jenen Zeitraum, in dem die Invalidenversicherung in der Regel (verspätete Anmeldung vorbehalten; vgl. <ref-law>; <ref-law> in der bis Ende 2007 geltenden Fassung) bereits Leistungen erbringt.
3.3.3. In Art. 26 BVV 2 wurden Taggelder in Höhe von 80 % des entgangenen Lohnes dem vollen (durch den Arbeitgeber bezahlten) Lohn gleichgestellt. Dabei hat sich der Verordnungsgeber bewusst an die Bestimmungen von <ref-law> (Kommentar BSV) resp. <ref-law> (SCHLAURI, a.a.O., S. 130 Fn. 38) angelehnt. Mit anderen Worten: Dass der Grenzwert von 80 % des entgangenen Lohnes erreicht wird, ist Voraussetzung dafür, dass Krankentaggelder ein vollwertiges Surrogat für die Lohnfortzahlungspflicht des Arbeitgebers darstellen (vgl. SCHLAURI, a.a.O., S. 120). Damit ist indessen noch nichts über das Verhältnis zwischen der Lohnfortzahlung resp. den Krankentaggeldern einerseits und der Rente der Invalidenversicherung anderseits gesagt und darüber, wie sich dieses auf die Koordinationsbefugnis gemäss Art. 26 Abs. 2 BVG resp. Art. 26 BVV 2 auswirkt.
3.3.4. Erfolgt die (volle) Lohnfortzahlung im Sinne eines Vorschusses, kann sich der Arbeitgeber die Rentennachzahlungen der Invalidenversicherung abtreten lassen (<ref-law>; UELI KIESER, ATSG-Kommentar, 3. Aufl. 2015, N. 46 ff. zu <ref-law>). Die Lohnfortzahlung ist grundsätzlich - unter Vorbehalt insbesondere der Bestimmungen von Art. 26 Abs. 2 BVG und Art. 26 BVV 2 - subsidiär zu Sozialversicherungsleistungen (vgl. Art. 324a Abs. 4 und <ref-law>; SCHLAURI, a.a.O., S. 110 f.).
Eine Rentennachzahlung kann auch einer Versicherung, die Vorleistungen erbringt, abgetreten werden (<ref-law>). Es ist denn auch ohne Weiteres zulässig und üblich (RUDOLF LUGINBÜHL, Krankentaggeldversicherungen - Allgemeiner Überblick und aktuelle Probleme, in: Arbeitsunfähigkeit und Taggeld, 2010, S. 16), dass Leistungen der Krankentaggeldversicherung nach VVG subsidiär zur Rente der Invalidenversicherung ausgerichtet werden (so in concreto Ziff. 26 und 28 der allgemeinen Versicherungsbedingungen der Swica über die kollektive Taggeldversicherung nach VVG, Ausgabe 2006 [nachfolgend: AVB Swica]). Es steht im Widerspruch zur Absicht des Gesetz- und Verordnungsgebers (E. 3.3.2), wenn durch diese Subsidiarität die Koordinationsbefugnis der beruflichen Vorsorge gegenüber Leistungen der Krankentaggeldversicherung ausgehebelt wird, indem sie genau in jenen typischen Fällen, für die sie geschaffen wurde, nicht zum Tragen kommen kann (vgl. MOSER/STAUFFER, Ungereimtes). Es leuchtet nicht ein, weshalb es eine Rolle spielen soll, ob die Arbeitsunfähigkeit allein durch die Krankentaggeldversicherung oder durch die Invalidenversicherung abgegolten wird, solange mindestens 80 % des entgangenen Verdienstes durch Versicherungsleistungen gedeckt bleiben.
In diesem Zusammenhang zielt auch das Argument der Vorinstanz und der Beschwerdegegnerin, ein Rentenaufschub sei durch die Rechtsprechung gemäss Urteil B 27/04 vom 21. Februar 2005 E. 2 nicht faktisch ausgeschlossen, da er im Bereich der weitergehenden Vorsorge (im Rahmen von Art. 49 und der verfassungsmässigen Schranken) ohne Weiteres zulässig sei, ins Leere: Art. 26 Abs. 2 BVG (wie auch Art. 26 BVV 2) gehört zu den Mindestvorschriften (Art. 6 BVG); seine Tragweite muss sich somit im Bereich der obligatorischen beruflichen Vorsorge entfalten können.
3.3.5. Was das Erfordernis der hälftigen Finanzierung der Krankentaggelder durch den Arbeitgeber anbelangt, so ist nicht allein der individuelle oder kollektive Charakter der Taggeldversicherung (vgl. E. 3.3.1) massgeblich. Entscheidend ist auch in diesem Zusammenhang, dass es sich bei den Taggeldern um ein Lohnfortzahlungssurrogat handeln muss (vgl. E. 3.3.3), was nur dann zutrifft, wenn sie nicht überwiegend durch den Arbeitnehmer finanziert werden (SCHLAURI, a.a.O., S. 125; vgl. auch die Kasuistik bei REHBINDER/ STÖCKLI, Berner Kommentar, 2010, N. 37 zu <ref-law>). In diesem Sinn ist auch die Rente der Invalidenversicherung als Ersatz für die Lohnzahlung zu betrachten, zumal die Beiträge zu deren Finanzierung zu gleichen Teilen von Arbeitgeber und -nehmer geleistet werden (<ref-law>).
3.4. Nach dem Gesagten kann - im Einklang mit der Lehre (E. 3.1.2) - an der Rechtsprechung gemäss Urteil B 27/04 vom 21. Februar 2005 E. 2 nicht festgehalten werden. Die auf Art. 26 Abs. 2 BVG und Art. 26 BVV 2 basierende reglementarische Rentenaufschubsmöglichkeit der Vorsorgeeinrichtung besteht auch dann, wenn der Taggeldversicherer, der Taggelder für Arbeitsunfähigkeit ausgerichtet hat, diese Leistungen im Umfang der nachträglich zugesprochenen Rente der Invalidenversicherung zurückfordert. In diesem Punkt ist die Beschwerde begründet; die Klage vom 28. April 2015 ist in Bezug auf die geltend gemachte Rentenzahlung für die Zeit vom 1. Januar 2011 bis zum 31. Januar 2012 und den darauf entfallenden Verzugszins abzuweisen.
4.
4.1. Sodann ist fraglich, ob die Pensionskasse bereits ab dem 1. Mai oder erst ab dem 1. Juli 2011 eine Sparbeitragsbefreiung (im Umfang von 50 %) zu gewähren hat. Dieser Streitpunkt betrifft den Anspruch auf Leistung von Altersgutschriften (vgl. Urteil 9C_115/2008 vom 23. Juli 2008 E. 7.3.3 Abs. 2), der sich auf die Höhe der - die Invalidenrente ablösenden (vgl. Ziff. 4.13 Abs. 3 Reglement) - reglementarischen Altersrente auswirkt (vgl. Ziff. 4.6.2 Reglement).
4.2.
4.2.1. Im Reglement wird die "Weiterführung der Altersgutschriften für Invalide" wie folgt geregelt: Wird eine versicherte Person erwerbsunfähig, so entfällt entsprechend dem Grad der Erwerbsunfähigkeit ihre Beitragspflicht und diejenige der Firma nach Ablauf von 3 Monaten bzw. frühestens nach Ablauf der vollen Lohnzahlung. Die reglementarischen Altersgutschriften werden von diesem Zeitpunkt an von der Stiftung geleistet (Ziff. 4.14 Abs. 1 Reglement). Anspruch und Höhe richten sich sinngemäss nach den Bestimmungen über die Invalidenrente und die Finanzierung (Ziff. 4.14 Abs. 2 Reglement).
4.2.2. Unter dem Titel "Finanzierung" enthält das Reglement insbesondere folgende Bestimmungen zu den "Beiträgen": Die Höhe der Beiträge richtet sich nach dem versicherten Lohn (Ziff. 5.1.2 Reglement). Die Beitragspflicht endet u.a. mit der "Invalidierung". Bezieht der Versicherte eine Teilinvalidenrente, reduziert sich der Beitrag entsprechend den Bestimmungen von Ziff. 4.13.1 (recte wohl: 4.13) Abs. 7 (Ziff. 5.1.3 Reglement), d.h. bei einem Invaliditätsgrad von 52 % um 50 %. Die Beiträge der Versicherten werden monatlich vom Lohn abgezogen (Ziff. 5.1.4 Abs. 1 Reglement).
5.
5.1. Die Vorinstanz hat den Anspruch der Versicherten auf eine Sparbeitragsbefreiung resp. Leistung von Altersgutschriften ab 1. Mai 2011 bejaht. In diesem Zusammenhang hat sie erwogen, die Lohnersatzzahlungen (der Krankentaggeldversicherung) auf der Basis des bisherigen vollen Lohnes gälten im Vergleich zu diesem (grundsätzlich) als gleichwertig; indessen könne nicht mehr von "vollem" Lohn im vorerwähnten Sinn gesprochen werden, weil die Krankentaggelder um die Rentennachzahlungen der Invalidenversicherung gekürzt worden seien.
5.2. Die Pensionskasse beruft sich auf die Gleichwertigkeit von Lohn und Ersatzzahlung; der Begriff der "vollen Lohnzahlung" im Sinne von Ziff. 4.14 Abs. 1 Reglement sei nach Art. 26 Abs. 2 BVG und Art. 26 lit. a BVV 2 resp. <ref-law> auszulegen. Die Sparbeitragsbefreiung sei erst sachgerecht, wenn sich die Erwerbsunfähigkeit finanziell auswirke, was frühestens am 1. Juli 2011 der Fall gewesen sei. Die Beschwerdegegnerin äussert sich dazu nicht.
6.
6.1. Reglemente privater Vorsorgeeinrichtungen sind, wo sich in Bezug auf die zur Streitigkeit Anlass gebenden Vorschriften kein übereinstimmender wirklicher Parteiwille feststellen lässt, nach dem Vertrauensprinzip auszulegen. Danach sind Willenserklärungen so zu deuten, wie sie vom Empfänger in guten Treuen verstanden werden durften und mussten. Es ist nicht auf den inneren Willen des Erklärenden abzustellen, sondern auf den objektiven Sinn seines Erklärungsverhaltens. Der Erklärende hat gegen sich gelten zu lassen, was ein vernünftiger und korrekter Mensch unter der Erklärung verstehen durfte (<ref-ruling> E. 6.2 S. 375). Ausgehend vom Wortlaut (zu dessen Bedeutung <ref-ruling> E. 2.4.1 S. 707) und unter Berücksichtigung des Zusammenhanges, in dem die streitige Bestimmung innerhalb des Reglements als Ganzes steht, ist der objektive Vertragswille zu ermitteln, den die Parteien mutmasslich gehabt haben. Dabei ist zu berücksichtigen, was sachgerecht ist, weil nicht angenommen werden kann, dass sie eine unvernünftige Lösung gewollt haben. Unklare, mehrdeutige oder ungewöhnliche Wendungen sind im Zweifel zu Lasten ihres Verfassers auszulegen (<ref-ruling> E. 5.2.2 S. 135; <ref-ruling> E. 2.2 S. 51 mit Hinweisen; vgl. auch <ref-ruling> E. 4.2.1 S. 666 f.).
6.2. Das Bundesgericht prüft die Auslegung nach dem Vertrauensprinzip und in Anwendung der Unklarheits- und Ungewöhnlichkeitsregel als Rechtsfrage frei (<ref-law>), wobei es lediglich an die Feststellungen der Vorinstanz über die äusseren Umstände im Rahmen von Art. 105 Abs. 1 und 2 BGG gebunden ist (BGE <ref-ruling> E. 2.3 S. 52 mit Hinweisen; <ref-ruling> E. 2.2.1 S. 67; SVR 2012 BVG Nr. 3 S. 11, 9C_1024/2010 E. 4.1 in fine).
6.3.
6.3.1. Die Vorsorgeeinrichtung muss für jeden Versicherten ein Alterskonto führen, auf dem das Altersguthaben nach Art. 15 Abs. 1 BVG ersichtlich ist (Art. 11 Abs. 1 BVV 2). Am Ende des Kalenderjahres muss die Vorsorgeeinrichtung dem individuellen Alterskonto den jährlichen Zins auf den Altersguthaben nach dem Kontostand am Ende des Vorjahres und die unverzinsten Altersgutschriften für das abgelaufene Kalenderjahr gutschreiben (Art. 11 Abs. 2 BVV 2). Das Altersguthaben des Invaliden ist zu verzinsen (Art. 14 Abs. 2 BVV 2). Das in dieser Weise geäufnete Kapital bildet das Vorsorgevermögen, das dem einzelnen Versicherten bei Eintritt des Vorsorgefalles Alter zwecks Finanzierung seiner Altersrente zur Verfügung steht. Die Finanzierung der Altersgutschriften eines invaliden Versicherten erfolgt nicht wie bei Gesunden durch eigene Beiträge (resp. solche des Arbeitgebers), sondern durch - nach versicherungstechnischen Grundsätzen bemessene - Solidaritätszuschläge auf den von den übrigen Versicherten zu leistenden Beiträgen (Urteil 9C_115/2008 vom 23. Juli 2008 E. 7.3.3 Abs. 1 mit Hinweisen).
6.3.2. Bei der Gleichstellung des "vollen Lohnes" mit Krankentaggeldern gemäss Ziff. 4.13 Abs. 2 Reglement resp. Art. 26 Abs. 2 BVG und Art. 26 BVV 2 geht es um die Koordination von Vorsorgeleistungen (E. 3.3). Der Begriff der "vollen Lohnzahlung" nach Ziff. 4.14 Abs. 1 Reglement hingegen betrifft nicht eine Vorsorgeleistung, sondern die Beitragspflicht, d.h. die (Vor-) Finanzierung einer Versicherungsleistung (vgl. <ref-ruling> E. 5.3.1 S. 135). Bereits aus diesem Grund ist es nicht sachgerecht, für die Beitragsbefreiung sinngemäss auf Ziff. 4.13 Abs. 2 Reglement abzustellen und diese "aufzuschieben", wenn anstelle der Lohnfortzahlung Krankentaggelder ausgerichtet werden.
Hinzu kommt Folgendes: Die Sparbeitragsbefreiung gemäss Ziff. 4.14 Abs. 1 Reglement bezweckt den Erhalt des Vorsorgeschutzes in dem Sinn, als das Altersguthaben weiterhin geäufnet wird, wenn und soweit die versicherte Person erwerbsunfähig wird resp. die Beitragspflicht infolge "Invalidierung" endet (Ziff. 5.1.3 Reglement). Welcher Zeitpunkt damit gemeint ist, ist an dieser Stelle nicht von Interesse (vgl. dazu E. 6.4). Wie die übrigen Sozialversicherungsbeiträge (vgl. E. 3.3.3) werden auch die Beiträge an die Pensionskasse "vom Lohn" abgezogen (E. 4.2.2). Ein "Aufschub" der Beitragsbefreiung scheint daher gerechtfertigt, solange die volle Lohnzahlung erfolgt; hingegen ist er nicht angezeigt, wenn lediglich noch ein auf 80 % reduziertes Ersatzeinkommen ausgerichtet wird. Die Beschwerdeführerin macht denn auch in diesem Zusammenhang nicht geltend, dass die Beiträge vom Krankentaggeld abgezogen werden müssten oder dass durch die fragliche Beitragsbefreiung auf irgend eine Weise eine Überentschädigung (vgl. E. 3.3.2) resultieren soll. Im Übrigen ist zu Gunsten der Versicherten zu werten (E. 6.1 in fine), dass in Ziff. 4.14 Abs. 1 Reglement - anders als in Ziff. 4.13 Abs. 2 Reglement - nicht ausdrücklich ein Ersatzeinkommen als Alternative zum Lohn genannt wird. Der Begriff der "vollen Lohnzahlung" im Sinne von Ziff. 4.14 Abs. 1 Reglement beinhaltet daher nicht die Krankentaggelder gemäss Ziff. 4.13 Abs. 2 Reglement.
6.4. Seit dem Einsetzen der Taggeldzahlungen der Swica nach einer Wartefrist von 60 Tagen ab Arbeitsunfähigkeit (vgl. Ziff. 18 und 19 AVB Swica) wurde keine "volle Lohnzahlung" mehr ausgerichtet. Der Vorsorgefall Invalidität ist am 1. Januar 2011 eingetreten (vgl. Urteil 9C_704/2015 vom 8. August 2016 E. 4.3, zur Publikation vorgesehen). Die Dreimonatsfrist für eine Beitragsbefreiung ab 1. Mai 2011 ist damit jedenfalls eingehalten. Ob sie bereits früher, d.h. ab Eintritt der Erwerbsunfähigkeit zu laufen begann, kann mangels eines entsprechenden Antrags (vgl. Klage vom 28. April 2015 und Replik vom 18. September 2015; vgl. auch <ref-law>) offenbleiben. Demnach hat das kantonale Gericht im Ergebnis zu Recht den Anspruch der Beschwerdegegnerin auf eine Sparbeitragsbefreiung resp. Leistung von Altersgutschriften ab 1. Mai 2011 bejaht.
7.
Mit dem Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung der Beschwerde gegenstandslos.
8.
Die Parteien haben nach Massgabe ihres Unterliegens die Gerichtskosten zu tragen (<ref-law>). Die Beschwerdeführerin hat der Beschwerdegegnerin eine (reduzierte) Parteientschädigung zu bezahlen (<ref-law>). Die Beschwerdeführerin hat als mit einer öffentlich-rechtlichen Aufgabe betraute Organisation keinen Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Bern vom 4. April 2016 wird aufgehoben. Die Beschwerdeführerin hat der Beschwerdegegnerin für die Zeit vom 1. Mai bis 30. Juni 2011 eine Sparbeitragsbefreiung im Umfang von 50 % zu gewähren. Im Übrigen werden die Beschwerde und die Klage abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden den Parteien je zu Fr. 400.- auferlegt.
3.
Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 1'200.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Parteientschädigung für das vorangegangene Verfahren an das Verwaltungsgericht des Kantons Bern zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Oktober 2016
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Glanzmann
Die Gerichtsschreiberin: Dormann