Sachverhalt:
A.
Die Mitglieder der Erbengemeinschaft A._ sel., B.A._, C.A._ und D.A._ (Kläger, Beschwerdeführer), erhoben am 14. März 2012 beim Kreisgericht St. Gallen Klage gegen die E._ AG (Beklagte, Beschwerdegegnerin) mit dem Begehren, die Beklagte sei zu verpflichten, der Erbengemeinschaft Fr. 380'000.-- nebst Zins und Betreibungskosten zu bezahlen, welchen Betrag sie im Laufe des Verfahrens um Fr. 326'195.95 erhöhten.
Mit Entscheid vom 17. Juli 2015trat das Kreisgericht St. Gallen auf die Klage nicht ein (KreisG. Disp.Ziff. 1). Es auferlegte die Gerichtskosten von insgesamt Fr. 29'200.-- den Klägern (KreisG.Disp.Ziff. 2) und verpflichtete diese, der Beklagten eine Parteientschädigung in Höhe von Fr. 47'892.60 zu bezahlen (KreisG.Disp.Ziff. 3).
B.
Die Kläger erhoben gegen diesen Entscheid Beschwerde beim Kantonsgericht St. Gallen, Einzelrichterin im Obligationenrecht, und beantragten eine Reduktion der erstinstanzlichen Gerichtskosten um Fr. 27'200.-- und eine Reduktion der Parteientschädigung um Fr. 39'453.--. Das Kantonsgericht schützte die Beschwerde teilweise und reduzierte die Gerichtskosten auf Fr. 12'300.-- (KantG. Disp. Ziff. 1). Im Übrigen blieb der erstinstanzliche Entscheid betreffend die KreisG.Disp.Ziff. 1 und 3 unverändert (KantG.Disp.Ziff. 2). Die Entscheidgebühr des Beschwerdeverfahrens von Fr. 3'000.-- wurde im Umfang von Fr. 2'250.-- den Klägern und im Umfang von Fr. 750.-- der Beklagten auferlegt (KantG.Disp.Ziff. 3). Die Kläger wurden zudem unter solidarischer Haftbarkeit verpflichtet, der Beklagten eine Parteientschädigung im Beschwerdeverfahren von Fr. 2'111.50 zu bezahlen (KantG.Disp.Ziff. 4).
C.
Mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde beantragen die Kläger dem Bundesgericht im Wesentlichen, der Entscheid des Kantonsgerichts vom 20. Juni 2016 sei insofern aufzuheben, als er die Beschwerde betreffend die erstinstanzlich zugesprochene Parteientschädigung abwies, und es sei die Parteientschädigung im erstinstanzlichen Verfahren auf Fr. 44'345.-- zu reduzieren (Rechtsbegehren Ziff. 1.a). Dies entspricht der vom Kreisgericht zugesprochenen Entschädigung ohne den Zuschlag für Mehrwertsteuer (8 %). Die Gerichtskosten für das Beschwerdeverfahren vor Kantonsgericht seien den Parteien je hälftig aufzuerlegen (Rechtsbegehren Ziff. 2.a) und die ausseramtlichen Kosten wettzuschlagen (Rechtsbegehren Ziff. 3). Eventuell sei die Sache zu neuer Entscheidung an das Kantonsgericht zurückzuweisen; alles unter Kosten- und Entschädigungsfolge. Die Beschwerdegegnerin verzichtet bezüglich der Mehrwertsteuerauflage auf eine Antragsstellung und beantragt die Abweisung der Beschwerde betreffend das Wettschlagen der Parteikosten. Das Kantonsgericht hat sich vernehmen lassen, ohne einen ausdrücklichen Antrag zu stellen.

Erwägungen:
1.
Bei der vorliegenden Streitsache handelt es sich um eine vermögensrechtliche Angelegenheit. Demnach ist die Beschwerde in Zivilsachen zulässig, sofern der Streitwert mindestens Fr. 30'000.-- beträgt (<ref-law>). Der Streitwert bestimmt sich nach den Begehren, die vor Vorinstanz streitig geblieben sind (<ref-law>), nämlich Fr. 66'653.-- (vgl. Urteil 5A_760/2013 vom 7. Januar 2014 E. 2 mit Hinweisen). Die Beschwerdeführer haben formell zwar auch eine subsidiäre Verfassungsbeschwerde eingereicht. Sie erkennen in ihrer Beschwerde aber selbst, dass der Streitwert mit Fr. 66'653.-- über dem für eine Beschwerde in Zivilsachen notwendigen Mindestbetrag liegt, was die subsidiäre Verfassungsbeschwerde ausschliesst (<ref-law>), und sie verweisen für deren Begründung einfach auf die Beschwerde in Zivilsachen. Als solche ist die Beschwerde daher entgegenzunehmen. Die übrigen Eintretensvoraussetzungen geben keinen Anlass zu Bemerkungen. Auf die Beschwerde in Zivilsachen ist demnach - unter Vorbehalt einer genügenden Begründung (<ref-law>) - einzutreten.
2.
Mit der Beschwerde in Zivilsachen kann u.a. die Verletzung von Bundesrecht einschliesslich Bundesverfassungsrecht gerügt werden (<ref-law>; <ref-ruling> E. 1.2 S. 382). Nicht zu den in <ref-law> vorgesehenen Rügegründen gehört hingegen grundsätzlich (vgl. zur Ausnahme <ref-law>) die Anwendung und Auslegung kantonalen Gesetzesrechts, dessen Anwendung und Auslegung das Bundesgericht einzig unter dem Blickwinkel eines Verstosses gegen Bundesrecht oder gegen Bundesverfassungsrecht beurteilen kann. Im Vordergrund steht dabei eine Verletzung verfassungsmässiger Rechte, insbesondere des Willkürverbots nach <ref-law> (vgl. <ref-ruling> E. 4.3 S. 521; <ref-ruling> E. 1.2 S. 382 f.).
3.
Die geltend gemachte Differenz bei der erstinstanzlichen Parteientschädigung von Fr. 3'547.60 (Fr. 47'892.60./. Fr. 44'345.--) betrifft wie dargelegt die zugesprochene Mehrwertsteuer von 8 %. Die Beschwerdeführer erblicken in der Gewährung des Zuschlags für Mehrwertsteuereine Verletzung von Art. 29 der Honorarordnung vom 22. April 1994 für Rechtsanwälte und Rechtsagenten des Kantons St. Gallen (HonO/SG; sGS 963.75) und <ref-law>; ausserdem einen Verstoss gegen <ref-law>.
3.1. Nach Art. 29 HonO/SG wird die Mehrwertsteuer zum Honorar und zu den Barauslagen hinzugerechnet. Die Vorinstanz erwog, die Beschwerdegegnerin habe erstinstanzlich mit der von ihr eingereichten Kostennote eine Parteientschädigung von insgesamt Fr. 58'058.45 (inkl. MWST) verlangt. Das Kreisgericht habe ihr jedoch nur eine Entschädigung von Fr. 47'892.60 zugesprochen, die sich wie folgt zusammensetzte: Grundhonorar von Fr. 30'961.--, einen Zuschlag von 20 % für den zusätzlichen Schriftenwechsel (Art. 18 Abs. 1 lit. b HonO/SG) und einen solchen von ebenfalls 20 % für eine ausserordentliche Kompliziertheit des Falles (Art. 18 Abs. 1 lit. c HonO/SG), eine Pauschale von Fr. 1'000.-- für Barauslagen (Art. 28bis HonO/SG) sowie 8 % MwSt (Art. 29 HonO/SG). In der Lehre werde zum Teil die Auffassung vertreten, eine Partei sei für die Mehrwertsteuer nur zu entschädigen, wenn sie dadurch auch tatsächlich belastet sei und diese nicht in ihrer eigenen Mehrwertsteuerabrechnung als Vorsteuer abziehen könne. Diese Lehrmeinungen verwiesen aber ihrerseits auf ein Kreisschreiben der Verwaltungskommission des Obergerichts des Kantons Zürich vom 17. Mai 2006, in dem festgehalten werde, durch die Einführung der Mehrwertsteuer entstünden dem Klienten höhere Prozesskosten, sofern er die Mehrwertsteuer nicht als Vorsteuer von seiner eigenen Mehrwertsteuerschuld in Abzug bringen könne. Die für die Prozessentschädigung massgebliche Verordnung des Obergerichts über die Anwaltsgebühren berücksichtige die Mehrwertsteuer jedoch nicht, weshalb eine Partei, die zusätzliche Kosten für die Mehrwertsteuer ersetzt haben wolle, dies zu beantragen und im Bestreitungsfall die behaupteten Kosten nachzuweisen habe. Im Kanton St. Gallen sei der Zuschlag für die Mehrwertsteuer dagegen in der Honorarordnung (Art. 29 HonO/SG) verankert und bedürfe - wie die Entschädigung für Barauslagen - keines Nachweises und keines zusätzlichen Antrags, wenn die (beantragte) Parteientschädigung nach Ermessen zugesprochen werde (Art. 6 HonO/SG). Es sei folglich nicht Sache des Gerichts, bei der Festlegung der Parteientschädigung zu beurteilen, wie die obsiegende Partei das zu zahlende Anwaltshonorar (mehrwert-) steuerrechtlich zu behandeln habe. Es sei daher nicht ersichtlich, weshalb steuerrechtliche Abzugsmöglichkeiten der obsiegenden Partei zu einer Kürzung der Parteientschädigung führen sollten.
3.2.
3.2.1. Ob im kantonalen Verfahren die Mehrwertsteuer in der Parteientschädigung enthalten ist oder - bei erfüllten Voraussetzungen - zusätzlich zur Parteientschädigung ausgerichtet wird, ergibt sich nicht aus <ref-law>, sondern aus dem kantonalen Recht; die Regelung dieser Frage liegt nach <ref-law> in der Kompetenz der Kantone (Urteil 4A_552/2015 vom 25. Mai 2016 E. 4.5).
3.2.2. Nach den Feststellungen der Vorinstanz wendete die Beschwerdegegnerin nur ein, das Zusprechen von Parteientschädigungen inklusive Mehrwertsteuer sei absolut praxiskonform. Darauf verweist sie auch im Beschwerdeverfahren vor Bundesgericht. Dass sie selbst mehrwertsteuerpflichtig sei und daher die von ihrem Anwalt in Rechnung gestellte Mehrwertsteuer in Form eines Vorsteuerabzugs von ihrer eigenen Steuerschuld abziehen könne, hat sie nicht bestritten. Davon ist somit auszugehen.
3.2.3. Die Kantone können eine pauschale Entschädigung mit Einschluss allfälliger Mehrwertsteuern bestimmen, wie dies in Art. 12 Abs. 1 des Reglements vom 31. März 2006 über die Parteientschädigung und die Entschädigung für die amtliche Vertretung im Verfahren vor dem Bundesgericht (SR 173.110.210.3) vorgesehen ist. Oder sie können die Parteientschädigung aufgrund einer detailliert begründeten Kostennote zusprechen, welche die separat ausgewiesene Mehrwertsteuer umfasst; in diesem Fall ist die Mehrwertsteuer grundsätzlich mit den Parteikosten zu ersetzen (zit. Urteil 4A_552/2015 E. 4.5 mit Hinweis auf <ref-ruling> E. 4b S. 202).
Nach Art. 4 HonO /SG hat der Rechtsanwalt in der Honorarnote die Berechnungsgrundlagen und die angewendeten Bestimmungen der Honorarordnung anzugeben. Es besteht aber auch die Möglichkeit, ein Honorar nach Ermessen zuzusprechen, wenn der Anwalt keine Honorarnote einreicht (Art. 6 HonO /SG). Die Beschwerdegegnerin hat eine begründete Honorarnote eingereicht, und das Kreisgericht hat gestützt darauf die Parteientschädigung zugesprochen, wobei es die beiden geltend gemachten Zuschläge von 40 % bzw. 30 % auf je 20 % kürzte und beim Grundhonorar gestützt auf Art. 14 Abs. 1 lit. f HonO/SG einen geringfügig tieferen Betrag errechnete. Das Kreisgericht hat also gerade keinen Gesamtbetrag zugesprochen, und der Rechtsanwalt hat eine Kostennote eingereicht; der Hinweis der Vorinstanz auf Art. 6 HonO/SG ist nicht nachvollziehbar. Das Kreisgericht hat somit mit dem Betrag von Fr. 44'345.-- jene Entschädigung zugesprochen, auf welche die Beschwerdegegnerin seines Erachtens gemäss Art. 14, 18 und 28bis HonO/SG Anspruch hat. Indem es - und in der Folge die Vorinstanz - zusätzlich Mehrwertsteuer zusprachen, obwohl der Beschwerdegegnerin keine solche Kosten entstehen und sie das tarifgemässe Honorar erhält, wendete die Vorinstanz Art. 29 HonO/SG willkürlich an. Dass nach dieser Bestimmung die Mehrwertsteuer hinzugerechnet wird, kann nur bedeuten, dass die Tarifpositionen bzw. die Pauschale für Barauslagen entsprechende Steuerkosten nicht bereits abdecken, sodass diese - wenn sie denn entstehen - hinzuzurechnen sind. Der Sinn dieser Bestimmung kann aber nicht sein, dass solche Kosten zugesprochen werden, obwohl sie nicht entstehen beziehungsweise die betroffene Partei wirtschaftlich nicht belasten, da sie von deren eigenen Mehrwertsteuerabrechnung als Vorsteuer in Abzug gebracht werden können. Ob der angefochtene Entscheid bereits deshalb willkürlich wäre, weil das Verwaltungsgericht des Kantons St. Gallen in konstanter Praxis die Mehrwertsteuer nicht hinzurechnet, wenn keine solche entsteht, wie die Beschwerdeführer geltend machen, kann dahingestellt bleiben. Dass der Anwalt selbst mehrwertsteuerpflichtig ist, rechtfertigt entgegen der in der Vernehmlassung der Vorinstanz sinngemäss vertretenen Auffassung für sich allein keinen Zuschlag für Mehrwertsteuer, da es um die Entschädigung der seiner Partei erwachsenen Kosten geht.
Ziffer 3 des angefochtenen Urteils ist somit aufzuheben und der Beschwerdegegnerin für das Verfahren vor Bezirksgericht eine um die Mehrwertsteuer reduzierte Parteientschädigung von Fr. 44'345.-- zuzusprechen. Auf die in diesem Zusammenhang erhobene Rüge einer Verletzung des rechtlichen Gehörs (<ref-law>) durch ungenügende Begründung braucht nicht mehr eingegangen zu werden.
4.
In einem zweiten Punkt rügen die Beschwerdeführer die Kostenregelung für das vorinstanzliche Verfahren.
4.1. Die Vorinstanz hat die Gerichtskosten auf Fr. 3'000.-- festgelegt und im Verhältnis von 75 % (Beschwerdeführer) zu 25 % (Beschwerdegegnerin) verlegt. Sie hat festgestellt, die mehrheitlich obsiegende Beschwerdegegnerin beantrage eine Parteientschädigung von Fr. 2'111.50, was angemessen sei und tarifkonform. Bei einem Streitwert von Fr. 66'653.-- betrage das mittlere Honorar gemäss Art. 14 lit. d HonO/SG Fr. 9'465.45; davon 40 % gemäss Art. 26 lit. a HonO/SG (schriftliches Rechtsmittelverfahren) entspreche einem Betrag von Fr. 3'786.20. Inklusive Barauslagen und Mehrwertsteuer ergebe sich ein Betrag von Fr. 4'252.65. Die Beschwerdegegnerin habe Anspruch auf 50 % davon (75 %./. 25 %). Dies ergibt etwas mehr als die beantragten Fr. 2'111.50.
4.2. Die Vorinstanz hat somit nicht übersehen, dass der Beschwerdegegnerin - nach dem von ihr angewendeten Kostenschlüssel - lediglich die Hälfte des tarifgemässen Honorars zustand. Der von ihr errechnete Betrag resultierte, weil sie beim Grundhonorar Art. 14 lit. d HonO/SG anwendete, der sich auf einen Streitwert zwischen Fr. 50'000.-- und Fr. 100'000.-- bezieht. Demgegenüber stützte sich die Honorarnote der Beschwerdegegnerin auf Art. 14 lit. c HonO/SG, mithin einen Streitwert zwischen Fr. 20'000.-- und Fr. 50'000.--. Da der Streitwert über Fr. 50'000.-- lag, war die Anwendung von Art. 14 lit. d HonO/SG offensichtlich zutreffend. Ausserdem hatte die Beschwerdegegnerin in ihrer Honorarberechnung für das schriftliche Beschwerdeverfahren lediglich 30 % des mittleren Honorars eingesetzt, während die Vorinstanz einen Satz von 40 % anwendete; der Tarif sieht eine Bandbreite von 20 - 50 % vor. Fraglich kann daher einzig sein, ob die Vorinstanz die Dispositionsmaxime (<ref-law>) verletzte, indem sie der Beschwerdegegnerin jenen Betrag zusprach, den diese für das vollständige Obsiegen verlangt hatte. Die Beschwerdeführer rügen dies. Ihre Rüge erweist sich als begründet. Die Dispositionsmaxime gilt auch betreffend die Parteientschädigung (CHRISTOPH HURNI, in: Berner Kommentar, Schweizerische Zivilprozessordnung, Bd. 1, 2012, N. 31 zu <ref-law>; MARTIN H. STERCHI, in: Berner Kommentar, a.a.O., N. 6 zu Art. ZPO; VIKTOR RÜEGG, in: Basler Kommentar, Schweizerische Zivilprozessordnung, 2. Aufl. 2013, N. 2 zu <ref-law>; DAVID JENNY, in: Thomas Sutter-Somm et al [Hrsg.], Kommentar zur Schweizerischen Zivilprozessordnung [ZPO], 3. Aufl. 2016, N. 6 f. zu <ref-law>. Kritisch: PAUL OBERHAMMER, in: Kurzkommentar ZPO, Paul Oberhammer und andere [Hrsg.], 2. Aufl. 2013, N. 5 zu <ref-law>). Der Honorarantrag der Beschwerdegegnerin kann nicht anders verstanden werden, als dass sie Fr. 2'111.50 für das vollständige Obsiegen verlangte. Auch die Vorinstanz hat ihn nicht anders verstanden, sondern vielmehr die Berechnung aufgrund des Tarifs korrigiert. Indem die Vorinstanz ihr den verlangten Betrag, aber bei teilweisem Obsiegen zusprach, ging sie über den Antrag der Beschwerdegegnerin hinaus. Die Honorarnote enthielt überdies erneut einen Betrag von Fr. 156.40 für Mehrwertsteuer; gemäss den vorstehenden Ausführungen reduziert um diese Kosten ergibt sich ein beantragtes Honorar bei vollem Obsiegen von Fr. 1'955.10.
4.3. Die Beschwerdeführer beantragen für den Fall ihres Obsiegens, dass das Bundesgericht gestützt auf <ref-law> selber die Kosten des vorinstanzlichen Verfahrens regelt; die Gerichtskosten seien beiden Parteien je zur Häflte aufzuerlegen und die ausseramtlichen Entschädigungen seien wettzuschlagen, eventualiter sei diesbezüglich die Sache an die Vorinstanz zur Neufestlegung zurückzuweisen. Sie sind der Auffassung, wenn sie mit ihrem Antrag durchdrängen, sei von einem hälftigen Obsiegen auszugehen. Die Vorinstanz hat auf das quantitative Obsiegen abgestellt und offensichtlich keine weiteren Kriterien berücksichtigt. Daher erscheint es gerechtfertigt, dass das Bundesgericht den Kostenschlüssel selber festlegt, entsprechend der Vorinstanz ebenfalls nach dem quantitativen Obsiegen. Demnach tragen die Beschwerdeführer 70 % und die Beschwerdegegnerin 30 % der vorinstanzlichen Entscheidgebühr von Fr. 3'000.--. Die Beschwerdeführer haben die Beschwerdegegnerin mit 40 % der von dieser geltend gemachten (ohne MwSt) Parteientschädigung von Fr. 1'955.10, nämlich Fr. 782.05 zu entschädigen.
5.
Die Beschwerde ist teilweise gutzuheissen. Dem Ausgang des Verfahrens entsprechend trägt die Beschwerdegegnerin vier Fünftel und die Beschwerdeführer tragen einen Fünftel der Gerichtskosten. Dementsprechend schuldet die Beschwerdegegnerin den Beschwerdeführern eine reduzierte Parteientschädigung von Fr. 1'500.-- (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG). Die Beschwerdegegnerin verzichtete zwar auf einen Antrag betreffend die Reduktion um die Mehrwertsteuer; der Kostenpflicht könnte sie jedoch nur entgehen, wenn sie sich dem Antrag der Beschwerdeführer anschliesst. Andernfalls unterliegt sie in dem Ausmass wie die Beschwerdeführer obsiegen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen.
1.1. Ziffer 2 des Entscheids des Kantonsgerichts St. Gallen, Einzelrichterin im Obligationenrecht, vom 20. Juni 2016 wird teilweise aufgehoben und Ziffer 3 des Entscheids des Kreisgerichts St. Gallen, 2. Zivilkammer, vom 17. Juli 2015 wie folgt neu gefasst:
"3. Die Kläger haben der Beklagten eine Parteientschädigung von Fr. 44'345.-- zu bezahlen".
1.2. Ziffer 3 des Entscheids des Kantonsgerichts St. Gallen, Einzelrichterin im Obligationenrecht, vom 20. Juni 2016 wird aufgehoben und wie folgt neu gefasst:
"Die Entscheidgebühr des Beschwerdeverfahrens in Höhe von Fr. 3'000.-- haben die Kläger im Umfang von Fr. 2'100.-- und die Beklagte im Umfang von Fr. 900.-- zu bezahlen. Der von den Klägern geleistete Kostenvorschuss in Höhe von Fr. 3'000.-- wird verrechnet und ist ihnen im Umfang von Fr. 900.-- durch die Beklagte zu ersetzen."
1.3. Ziffer 4 des Entscheids des Kantonsgerichts St. Gallen, Einzelrichterin im Obligationenrecht, vom 20. Juni 2016 wird aufgehoben und wie folgt neu gefasst:
"Die Kläger haben - je zu einem Drittel und unter solidarischer Haftbarkeit für den ganzen Betrag - die Beklagte mit total Fr. 782.05 für ihre Parteikosten im Beschwerdeverfahren zu entschädigen".
2.
Die Gerichtskosten für das bundesgerichtliche Verfahren von Fr. 1'000.-- werden im Betrag von Fr. 200.-- unter solidarischer Haftbarkeit den Beschwerdeführern und im Betrag von Fr. 800.-- der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit insgesamt Fr. 1'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Einzelrichterin im Obligationenrecht, schriftlich mitgeteilt.
Lausanne, 15. November 2016
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Luczak