hat sich ergeben: A.- Die Eheleute Martha und Daniel Gantenbein-Kunz (Beschwerdeführer) führen einen Weinbaubetrieb in Fläsch. Im Zusammenhang mit einem Neubau führte die Thöny Bau AG (Beschwerdegegnerin) diverse Arbeiten aus und stellte dafür Rechnung von Fr. 13'144.45. Über deren Höhe kam es zwischen den Parteien zum Streit. Daher meldete die Beschwerdegegne- rin am 17. September 1997 im Umfang der gestellten Rechnung beim Vermittleramt des Kreises Maienfeld eine Klage gegen die Beschwerdeführer an. B.- Laut Handelsregisterauszug sind für die Beschwerde- gegnerin die beiden Verwaltungsratsmitglieder Hansandrea Thöny und Hans Thöny kollektiv zeichnungsberechtigt. An der Vermittlungsverhandlung vom 4. November 1997 nahm nur Hans Thöny in Begleitung seines Treuhänders Georg Clavadetscher teil. Er legte an der Verhandlung vorschriftsgemäss den Han- delsregisterauszug vor. C.- Da anlässlich der Vermittlungsverhandlung keine Einigung erzielt werden konnte, reichte die Beschwerdegegne- rin am 24. November 1997 beim Bezirksgericht Unterlandquart Klage gegen die Beschwerdeführer ein. In der Prozessantwort vom 19. Januar 1998 beantragten die Beschwerdeführer, auf die Klage sei nicht einzutreten, eventuell sei sie abzuwei- sen. Den Nichteintretensantrag begründeten sie unter anderem damit, dass die Beschwerdegegnerin an der Vermittlungsver- handlung nicht rechtsgültig vertreten gewesen sei. Das Be- zirksgericht Unterlandquart schützte am 26. Mai 1999 diese Einrede und trat auf die Klage nicht ein. Es auferlegte der Beschwerdegegnerin die Kosten des Vermittlungsverfahrens von Fr. 130.-- und die Kosten des Verfahrens vor dem Bezirksge- richt Unterlandquart von Fr. 2'800.--. Zudem verpflichtete es die Beschwerdegegnerin, den Beschwerdeführern eine aus- seramtliche Entschädigung von Fr. 2'776.35, inkl. Mehrwert- steuer, zu entrichten. D.- Die von der Beschwerdegegnerin erhobene Beschwerde hiess das Kantonsgericht von Graubünden am 14. September 1999 teilweise gut. Es bestätigte den Nichteintretensent- scheid, korrigierte aber den Kostenentscheid und setzte un- ter anderem die den Beschwerdeführern zugesprochene Partei- entschädigung von Fr. 2'776.35 auf Fr. 1'500.-- herab. Für das Beschwerdeverfahren erhob das Kantonsgericht keine Kos- ten. Die ausseramtlichen Kosten schlug es wett. E.- Gegen dieses Urteil haben die Beschwerdeführer staatsrechtliche Beschwerde erhoben. Sie beantragen, den an- gefochtenen Entscheid in Bezug auf die Reduktion ihrer Par- teientschädigung für das erstinstanzliche Verfahren und die Verteilung der ausseramtlichen Kosten vor dem Kantonsgericht aufzuheben. Das Kantonsgericht schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten ist. Die Beschwerde- gegnerin hat keine Vernehmlassung eingereicht.