Sachverhalt: A. A.a. Die Dorfschaft C._ (Beklagte, Beschwerdegegnerin) ist eine in C._ seit alters her bestehende privatrechtliche Allmendkorporation. Die geltenden Statuten datieren von 1970. Anlässlich der Generalversammlung vom 24. Februar 2012, an der A._ und B._ (Kläger, Beschwerdeführer) teilnahmen, wurden die Gemeinder darüber informiert, dass die bestehenden Pachtverträge der Dorfschaftsallmenden Ende 2012 auslaufen würden. Gleichzeitig wurden die Gemeinder erstmals aufgefordert, der Dorfschaft C._ ein allfälliges Interesse für die nächste Periode (sechs Jahre) der Allmendposten schriftlich anzuzeigen. Gesamthaft wurden Begehren für mindestens 38 Allmendlose eingereicht; zur Verteilung standen jedoch lediglich 231⁄4 zur Verfügung. Auf dieser Grundlage erarbeitete der Vorstand der Dorfschaft C._ ein "Allmendzuteilungskonzept". Zu diesem Zeitpunkt bewirtschafteten lediglich die Kläger und zwei weitere Landwirte die Dorfschaftsallmenden. Nach dem neuen "Allmendzuteilungskonzept" sollte den Klägern jeweils nur noch ein Allmendlos überlassen werden; jeder interessierte Gemeinder sollte mindestens eine Allmende nutzen können, während kein Gemeinder mehr als drei Allmenden erhalten würde. A.b. Anlässlich der Generalversammlung der Dorfschaft vom 24. Februar 2012 stellte der Vorstand unter Traktandum 7 im Rahmen einer Revision gemäss Art. 25 der Statuten das neue "Allmendzuteilungskonzept" vor. In der Folge wurde über diese Neuverteilung der Allmenden abgestimmt. 32 Personen stimmten der Neuverteilung zu, während die beiden Kläger und ein weiterer Gemeinder dagegen stimmten; eine Person enthielt sich der Stimme. Zudem wurde an der Generalversammlung vom 24. Februar 2012 unter Traktandum 9 über die Aufnahme von D._ und E._ in die Nutzungsberechtigtenliste der Dorfschaft abgestimmt. Beide erfüllten nach Auffassung des Vorstands die statutarischen Voraussetzungen zur Nutzungsberechtigung, woraufhin anlässlich der Generalversammlung 32 Gemeinder der Aufnahme als nutzungsberechtigte Mitglieder zustimmten, während die beiden Kläger dagegen stimmten. A.c. Seit jeher haben an den Generalversammlungen der Dorfschaft C._ jeweils auch Gemeinder abgestimmt, die keinen Landwirtschaftsbetrieb in selbständiger Stellung führen, so auch an der Generalversammlung vom 24. Februar 2012. Dies war auch unter dem Präsidium der Kläger jeweils so gehandhabt worden. In der Folge stellten sich die Kläger auf den Standpunkt, nur denjenigen Gemeindern stehe das Stimmrecht zu, die einen Landwirtschaftsbetrieb in selbständiger Stellung führen, mithin den beiden Klägern und zwei weiteren Landwirten. Ausserdem erachteten sie das neue "Allmendzuteilungskonzept" aus weiteren Gründen für statutenwidrig. Die Statuten sehen unter anderem Folgendes vor: " B. Mitgliedschaft Erwerb der Art. 31 Mitglieder der Dorfschaft sind alle Personen Mitgliedschaft männlichen oder weiblichen Geschlechts, die von Dorf gemeindegenossen abstammen. - ..] C. Rechte und Pflichten der Mitglieder Nutzungsanspruch Art. 51 Nutzungsberechtigt an den Gütern der Dorfschaft ist jeder mündige Gemeinder, der einer eigenen Haushal- tung oder einem Unternehmen vorsteht, während des grössten Teils des Jahres innerhalb der Dorfmarch wohnt und eine gesonderte Wirtschaft führt. [...] - ..] Stimmrecht Art. 101 Jedes nutzungsberechtigte Mitglied hat das Recht zu wählen und zu stimmen. - ..] E. Betrieb Änderung an der Art. 241 [...] Allmend, 2 Jeder Nutzungsberechtigte darf seine Allmend ganz oder Verpachtung teilweise verpachten, jedoch haftet er für den daraus ent- stehenden Schaden an der Allmend. - ..]" Die Statuten enthalten in Art. 28 ausserdem eine Schiedsklausel. B. Mit Schiedsklage vom 26. März 2012 stellten die Kläger die folgenden Rechtsbegehren: "1. Es sei der an der ordentlichen Generalversammlung vom 24. Februar 2012 unter Traktandum 7 gefällte Beschluss betreffend Neuverteilung der Allmende der Dorfschaft aufzuheben. 2. Es seien die an der ordentlichen Generalversammlung vom 24. Februar 2012 unter Traktandum 9 gefällten Beschlüsse betreffend Anträge Nutzungsrecht aufzuheben, und es sei festzustellen, dass die als nutzungsberechtigte Mitglieder aufgenommenen Personen E._ und D._ keine nutzungsberechtigten Mitglieder im Sinne von Art. 5 der Statuten der Dorfschaft C._ sind. ..." Die beiden parteiernannten Schiedsrichter einigten sich auf einen Vorsitzenden. Mit Konstituierungsbeschluss vom 1. November 2012 wurde zudem Tafers als Sitz des Schiedsgerichts bestimmt. Auf Massnahmegesuch der Kläger hin wies der Gerichtspräsident des Sensebezirks mit Entscheid vom 5. Dezember 2012 die von ihnen genutzten Allmenden vorsorglich weiterhin den Klägern zur Benutzung zu. Am 25. September 2013 fand die Hauptverhandlung mit Zeugen- und Parteibefragungen statt. Mit Schiedsspruch vom 8. Mai 2014 hiess das Schiedsgericht Antrags-Ziffer 1 gut und hob den anlässlich der Generalversammlung vom 24. Februar 2012 unter Traktandum 7 gefällten Beschluss betreffend Neuverteilung der Allmende der Dorfschaft auf (Dispositiv-Ziffer 1). Demgegenüber wies es Antrags-Ziffer 2 der Schiedsklage ab, soweit es darauf eintrat (Dispositiv-Ziffer 2). C. Mit Beschwerde in Zivilsachen beantragen die Kläger dem Bundesgericht, es sei Dispositiv-Ziffer 2 des Schiedsspruchs vom 8. Mai 2014 aufzuheben und die Sache sei zu neuem Entscheid über das Rechtsbegehren nach Antrags-Ziffer 2 der Schiedsklage vom 26. März 2012 an das Schiedsgericht zurückzuweisen. Die Beschwerdegegnerin beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Schiedsgericht hat auf eine Vernehmlassung verzichtet.