Sachverhalt: A. Mit Verfügung vom 28. Januar 2014 verneinte die IV-Stelle Uri einen Anspruch von A._ auf Leistungen der Invalidenversicherung. A._ erhob hiegegen am 15. Februar 2014 Beschwerde beim Obergericht des Kantons Uri. Gleichentags stellte sie zudem bei der IV-Stelle ein Gesuch um Wiedererwägung der Verfügung vom 28. Januar 2014. Sie berief sich in beiden Eingaben auf einen Arztbericht vom 12. Februar 2014. Mit Schreiben vom 20. Februar 2014 teilte die IV-Stelle der Versicherten mit, durch das Arztzeugnis vom 12. Februar 2014 werde eine Verschlechterung des Gesundheitszustandes angezeigt resp. eine neue, der Verwaltung bisher nicht bekannte gesundheitliche Situation belegt. Die IV-Stelle könne das Wiedererwägungsbegehren daher als Neuanmeldung entgegennehmen. Sie werde die notwendigen Abklärungen in die Wege leiten und den Leistungsanspruch neu prüfen. A._ hielt hierauf mit Schreiben vom 4. März 2014 an die Verwaltung und in Kopie an das Obergericht fest, da gemäss dem Schreiben vom 20. Februar 2014 betreffend Wiederanmeldung auf das Wiedererwägungsgesuch eingetreten werde, erübrige sich eine weitere Behandlung der Beschwerde und könne das Verfahren abgeschrieben werden. B. Mit Entscheid vom 27. März 2014 schrieb das Obergericht das Beschwerdeverfahren als erledigt ab (Dispositiv-Ziff. 1). Es auferlegte der IV-Stelle Gerichtskosten (Dispositiv-Ziff. 2). Die IV-Stelle ersuchte das Obergericht mit Schreiben vom 1. April 2014 darum, von der Auflegung von Kosten abzusehen. Das Obergericht lehnte dies mit Schreiben vom 4. April 2014 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle, Dispositiv-Ziff. 2 des vorinstanzlichen Entscheids sei aufzuheben. Das Obergericht verweist in seiner Vernehmlassung auf die Erwägungen im angefochtenen Entscheid. A._ äussert sich, ohneeinen Antrag zu stellen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.