Sachverhalt:
A.
Nach Eingang des Schlichtungsgesuchs der Genossenschaft C._ vom 11. März 2013 gegen B.A._ und A.A._ lud das Vermittleramt Kreis xxx von Appenzell Ausserrhoden die Parteien auf den 15. Mai 2013 um 10.30 Uhr zur Schlichtungsverhandlung vor. Zu dieser Verhandlung erschienen seitens der Genossenschaft C._ D._ und Fürsprecher Christoph Bernet, seitens der Gesuchsbeklagten B.A._ und A.A._ sowie Rechtsanwalt Werner Rechsteiner. Mit Verfügung vom 15. Mai 2013 stellte das Vermittleramt Kreis xxx fest, dass die Vertreter der Klägerin Genossenschaft C._ nicht ausreichend bevollmächtigt waren und eine Bevollmächtigung auch innert der eingeräumten Zusatzfrist bis 11.00 Uhr nicht beigebracht werden konnte. Die Klägerin wurde säumig erklärt und das Verfahren gemäss Art. 206 Abs. 1 ZPO als gegenstandslos abgeschrieben.
B.
Das Obergericht von Appenzell Ausserrhoden hiess die dagegen von der Genossenschaft C._ am 24. Mai 2013 erhobene Beschwerde mit Urteil vom 25. März 2014 gut, hob die Verfügung des Vermittleramtes Kreis xxx vom 15. Mai 2013 auf und wies die Angelegenheit zur Durchführung einer Vermittlungsverhandlung an das Vermittleramt Kreis xxx zurück. Das begründete Urteil wurde B.A._ und A.A._ am 25. Juni 2014 zugestellt.
C.
Mit Eingabe vom 25. Juli 2014 erheben B.A._ und A.A._ (zusammen nachfolgend die Beschwerdeführer) Beschwerde in Zivilsachen und beantragen, das Urteil der Vorinstanz unter Kostenfolgen aufzuheben. Überdies beantragen sie, der Beschwerde die aufschiebende Wirkung zu erteilen.
Das Bundesgericht lud die Genossenschaft C._ (nachfolgend die Beschwerdegegnerin) mit Verfügung vom 28. Juli 2014 ein, zum Gesuch um aufschiebende Wirkung Stellung zu nehmen. Am 25. August 2014 reichte die Beschwerdegegnerin unaufgefordert eine Beschwerdeantwort ein und verzichtete darin ausdrücklich auf einen Antrag zum Gesuch um aufschiebende Wirkung.
Mit Zwischenverfügung vom 28. August 2014 gewährte der Präsident der II. zivilrechtlichen Abteilung der Beschwerde die aufschiebende Wirkung.

Erwägungen:
1.
1.1. Das Bundesgericht überprüft von Amtes wegen und mit freier Kognition, ob eine Beschwerde zulässig ist (<ref-ruling> E. 1.1 S. 252; <ref-ruling> E. 1 S. 133; je mit Hinweisen). Die Eingabe muss auch bezüglich der Prozessvoraussetzungen hinreichend begründet werden (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 1 S. 121; Urteil 5A_28/2011 vom 21. März 2011 E. 1).
1.2. Die fristgerecht (Art. 100 Abs. 1 BGG) eingereichte Beschwerde richtet sich gegen den Entscheid einer letzten kantonalen Instanz (Art. 75 BGG). In diesem hebt die Vorinstanz die Abschreibungsverfügung des Vermittleramtes auf und weist die Angelegenheit zur Durchführung einer Schlichtungsverhandlung an das Vermittleramt Kreis xxx zurück. Damit aber ist das kantonale (Haupt-) Verfahren nicht beendet und handelt es sich beim angefochtenen Entscheid um einen Vor- oder Zwischenentscheid (Art. 93 BGG).
1.3. Hat die Beschwerde an das Bundesgericht einen Vor- oder Zwischenentscheid zum Gegenstand, der weder die Zuständigkeit noch den Ausstand betrifft (Art. 92 BGG), so ist dieser nur unter den Voraussetzungen von Art. 93 Abs. 1 BGG selbständig anfechtbar. Gemäss Art. 93 Abs. 1 BGG ist die Beschwerde gegen selbständig eröffnete Vor- und Zwischenentscheide zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder, wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Der nicht wieder gutzumachende Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG muss rechtlicher Natur sein. Das setzt voraus, dass er sich auch mit einem späteren günstigen Endentscheid nicht oder nicht gänzlich beseitigen lässt. Die blosse Möglichkeit eines nicht wieder gutzumachenden Nachteils rechtlicher Natur genügt. Dagegen reichen rein tatsächliche Nachteile wie die Verfahrensverlängerung oder -verteuerung nicht aus (<ref-ruling> E. 6 S. 192; <ref-ruling> E. 1.2.1 S. 382; je mit Hinweisen). Nach der Rechtsprechung obliegt es sodann dem Beschwerdeführer, darzutun, dass eine dieser beiden Voraussetzungen erfüllt ist (<ref-ruling> E. 1.1 S. 329; <ref-ruling> E. 1.2 S. 429), es sei denn, deren Vorliegen springe geradezu in die Augen (Urteil 5A_221/2014 vom 10. September 2014 E. 1.1.2).
2.
Die Beschwerdeführer äussern sich in ihrem Schriftsatz nicht zu den gesetzlichen Voraussetzungen von Art. 93 BGG. Sie übersehen offensichtlich, dass es sich beim angefochtenen Entscheid um einen Zwischenentscheid handelt. Tun die Beschwerdeführer aber überhaupt nicht dar, warum ein selbständig anfechtbarer Zwischenentscheid im Sinne von Art. 93 Abs. 1 BGG vorliegt, sondern übersehen sie diese Eintretensfrage schlechthin, kann das Bundesgericht von vornherein nicht auf die Beschwerde eintreten (vgl. <ref-ruling> E. 1a S. 92, Urteil 5A_28/2011 vom 21. März 2011 E. 3.3).
Im Übrigen liegt auch nicht auf der Hand, inwiefern der angefochtene Zwischenentscheid vor Bundesgericht anfechtbar wäre. Insbesondere ist nicht ersichtlich, welcher nicht wieder gutzumachende rechtliche Nachteil den Beschwerdeführern droht. Es sei darauf hingewiesen, dass eine allenfalls erteilte Klagebewilligung nach Durchführung der Schlichtungsverhandlung zwar nicht mittels Beschwerde oder Berufung angefochten werden kann (<ref-ruling> E. 3.1 S. 229; <ref-ruling> E. 2.3 S. 277). Die Gültigkeit der Klagebewilligung kann jedoch im erstinstanzlichen Klageverfahren bestritten werden (Urteil 4A_131/2013 vom 3. September 2013 E. 2.2.2.1), da eine gültig erteilte Klagebewilligung eine Prozessvoraussetzung im Sinne von Art. 59 ZPO darstellt, welche das Gericht gemäss Art. 60 ZPO von Amtes wegen zu prüfen hat (<ref-ruling> E. 3.2 S. 229 f.; <ref-ruling> E. 2.1 S. 275 f.; je mit Hinweisen). Das erstinstanzliche Gericht hat diesfalls im Rahmen der Klärung der Prozessvoraussetzungen zu prüfen, ob der geltend gemachte Mangel die Ungültigkeit der Klagebewilligung bewirkt (Urteil 4A_131/2013 vom 3. September 2013 E. 2.2.2.1 mit Hinweisen).
3.
Nach dem Gesagten ist auf die Beschwerde nicht einzutreten. Bei diesem Verfahrensausgang haben die Beschwerdeführer solidarisch für die Gerichtskosten aufzukommen (Art. 66 Abs. 1 und 5 BGG). Der Beschwerdegegnerin, die sich nur zum Gesuch um aufschiebende Wirkung äussern musste und in diesem Punkt auf einen Antrag verzichtete, ist kein entschädigungspflichtiger Aufwand entstanden (Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftung auferlegt.
3.
Dieses Urteil wird den Parteien, dem Obergericht Appenzell Ausserrhoden, 2. Abteilung, und dem Vermittleramt Kreis xxx, schriftlich mitgeteilt.
Lausanne, 19. November 2014
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Die Gerichtsschreiberin: Griessen