Sachverhalt: A. Mit Zahlungsbefehl vom 20. Juli 2015 (Betreibung Nr. xxx des Betreibungsamts Landquart) betrieb die Politische Gemeinde U._ A._ auf Grundpfandverwertung, und zwar über einen Betrag von Fr. 144'182.65 nebst 4 % Zins seit 24. März 2015. Als Forderungsurkunde bzw. Grund der Forderung wurden die Schuldanerkennung/Abzahlungsvereinbarung vom 24. März 2015 (recte: 31. März/10. April 2015) und als Pfandgegenstand die Liegenschaft Nr. yyy in der Gemeinde U._ angegeben. A._ erhob am 30. August 2015 Rechtsvorschlag. B. Am 17. September 2015 ersuchte die Politische Gemeinde U._ das Bezirksgericht Landquart in der genannten Betreibung um Erteilung der provisorischen Rechtsöffnung für den Betrag von Fr. 144'182.65. Mit Entscheid vom 13. Oktober 2015 erteilte das Bezirksgericht antragsgemäss die provisorische Rechtsöffnung. C. Gegen diesen Entscheid erhob A._ am 7. Dezember 2015 Beschwerde an das Kantonsgericht von Graubünden. Sie verlangte die Aufhebung des angefochtenen Entscheids und sinngemäss die Abweisung des Rechtsöffnungsgesuchs. Mit Entscheid vom 23. Mai 2016 hiess das Kantonsgericht die Beschwerde gut, hob den bezirksgerichtlichen Entscheid auf und wies das Rechtsöffnungsgesuch ab. D. Am 24. Juni 2016 hat die Politische Gemeinde U._ (Beschwerdeführerin) Beschwerde in Zivilsachen an das Bundesgericht erhoben. Sie beantragt, den Entscheid des Kantonsgerichts vom 23. Mai 2016 aufzuheben und die provisorische Rechtsöffnung für den Betrag von Fr. 144'182.65 zu erteilen. Allenfalls sei die Angelegenheit an das Bezirksgericht zurückzuweisen. Das Bundesgericht hat die Akten beigezogen. Das Kantonsgericht beantragt die Abweisung der Beschwerde, soweit auf sie einzutreten sei. A._ (Beschwerdegegnerin) hat um Erstreckung der Frist für die Vernehmlassung ersucht, hat sich nach Gewährung der Fristerstreckung aber nicht vernehmen lassen.