Sachverhalt: A. Die Mitglieder der Erbengemeinschaft A._ sel., B.A._, C.A._ und D.A._ (Kläger, Beschwerdeführer), erhoben am 14. März 2012 beim Kreisgericht St. Gallen Klage gegen die E._ AG (Beklagte, Beschwerdegegnerin) mit dem Begehren, die Beklagte sei zu verpflichten, der Erbengemeinschaft Fr. 380'000.-- nebst Zins und Betreibungskosten zu bezahlen, welchen Betrag sie im Laufe des Verfahrens um Fr. 326'195.95 erhöhten. Mit Entscheid vom 17. Juli 2015trat das Kreisgericht St. Gallen auf die Klage nicht ein (KreisG. Disp.Ziff. 1). Es auferlegte die Gerichtskosten von insgesamt Fr. 29'200.-- den Klägern (KreisG.Disp.Ziff. 2) und verpflichtete diese, der Beklagten eine Parteientschädigung in Höhe von Fr. 47'892.60 zu bezahlen (KreisG.Disp.Ziff. 3). B. Die Kläger erhoben gegen diesen Entscheid Beschwerde beim Kantonsgericht St. Gallen, Einzelrichterin im Obligationenrecht, und beantragten eine Reduktion der erstinstanzlichen Gerichtskosten um Fr. 27'200.-- und eine Reduktion der Parteientschädigung um Fr. 39'453.--. Das Kantonsgericht schützte die Beschwerde teilweise und reduzierte die Gerichtskosten auf Fr. 12'300.-- (KantG. Disp. Ziff. 1). Im Übrigen blieb der erstinstanzliche Entscheid betreffend die KreisG.Disp.Ziff. 1 und 3 unverändert (KantG.Disp.Ziff. 2). Die Entscheidgebühr des Beschwerdeverfahrens von Fr. 3'000.-- wurde im Umfang von Fr. 2'250.-- den Klägern und im Umfang von Fr. 750.-- der Beklagten auferlegt (KantG.Disp.Ziff. 3). Die Kläger wurden zudem unter solidarischer Haftbarkeit verpflichtet, der Beklagten eine Parteientschädigung im Beschwerdeverfahren von Fr. 2'111.50 zu bezahlen (KantG.Disp.Ziff. 4). C. Mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde beantragen die Kläger dem Bundesgericht im Wesentlichen, der Entscheid des Kantonsgerichts vom 20. Juni 2016 sei insofern aufzuheben, als er die Beschwerde betreffend die erstinstanzlich zugesprochene Parteientschädigung abwies, und es sei die Parteientschädigung im erstinstanzlichen Verfahren auf Fr. 44'345.-- zu reduzieren (Rechtsbegehren Ziff. 1.a). Dies entspricht der vom Kreisgericht zugesprochenen Entschädigung ohne den Zuschlag für Mehrwertsteuer (8 %). Die Gerichtskosten für das Beschwerdeverfahren vor Kantonsgericht seien den Parteien je hälftig aufzuerlegen (Rechtsbegehren Ziff. 2.a) und die ausseramtlichen Kosten wettzuschlagen (Rechtsbegehren Ziff. 3). Eventuell sei die Sache zu neuer Entscheidung an das Kantonsgericht zurückzuweisen; alles unter Kosten- und Entschädigungsfolge. Die Beschwerdegegnerin verzichtet bezüglich der Mehrwertsteuerauflage auf eine Antragsstellung und beantragt die Abweisung der Beschwerde betreffend das Wettschlagen der Parteikosten. Das Kantonsgericht hat sich vernehmen lassen, ohne einen ausdrücklichen Antrag zu stellen.