Sachverhalt:
A. X._ und Y._ sind Mitglieder des Vereins Z._. X._ amtete seit der Gründungsversammlung vom 14. März 2008 als Präsident des Vereins.
Mit Brief vom 23. Dezember 2009 stellte das Vorstandsmitglied A._ den Antrag auf Abwahl des Präsidenten an der ordentlichen Vereinsversammlung 2010. Mit einem weiteren Brief gleichen Datums erklärte sie ihren Rücktritt vom "Amt als Aktuarin und Organisatorin von Anlässen ... per Hauptversammlung 2010" mit dem Hinweis, falls die Vereinsversammlung einen neuen Präsidenten wähle, wäre sie bereit, im Vorstand zu verbleiben. Sie adressierte die beiden Briefe an X._, dessen Wohnort gemäss Ziff. 1.1 der Vereinsstatuten als Vereinssitz galt, und gab diese (offenbar mit gleicher Sendung) am 24. Dezember 2009 per Einschreiben an die Postfachadresse von X._ auf. Die Sendung wurde diesem am 28. Dezember 2009 ins Postfach avisiert und am 4. Januar 2010 zugestellt. Mit Brief vom 29. Dezember 2009 erklärte das Vorstandsmitglied B._ ihren Rücktritt vom "Amt als Kassierin ... per Generalversammlung 2010"; auch sie verband die Rücktrittserklärung mit dem Hinweis, falls die Vereinsversammlung einen neuen Präsidenten wähle, wäre sie bereit, im Vorstand zu verbleiben.
Mit Brief vom 4. Januar 2010 an A._ teilte X._ mit, ihr Antrag auf Abwahl des Präsidenten könne nicht berücksichtigt werden, da er verspätet erfolgt sei. Gemäss Ziff. 3.1.6 der Vereinsstatuten seien Anträge der Mitglieder für an der ordentlichen Vereinsversammlung zu behandelnde Geschäfte bis 31. Dezember des Vorjahres einzureichen und die Sendung sei ihm erst am 4. Januar 2010 zugestellt worden; zudem sei 2010 kein Wahljahr.
Am 9. Februar 2010 verfasste und versandte X._ die Einladung zur Vereinsversammlung vom 13. März 2010 mit integrierter Traktandenliste, bei welcher er den Antrag von A._ als "Begehren von A._ betr. Präsidialamt" aufführte, wobei er den Kommentar anfügte, der Antrag sei in zwei Punkten "gesetzes- und statutenwidrig", weshalb er diesen "sofort nach Erhalt ... schriftlich abgelehnt" habe, eine "Beratung und Beschlussfassung darüber völlig unmöglich sei" und das Geschäft daher nach einer "Kurz-Info ... am Protokoll abgeschrieben" werde. Zudem wies er auf die Rücktrittserklärungen von A._ und B._ hin und führte als weitere Traktanden unter anderem die "Ergänzungswahl von zwei neuen Vorstandsmitgliedern für die Amtsdauer 2010/2011, die "Wahl eines/einer neuen Kassiers/-in" sowie die "Wahl von neuen Beisitzern" auf.
An der Vereinsversammlung vom 13. März 2010 - an welcher gemäss Präsenzliste 40 Vereinsmitglieder und zwei Gäste teilnahmen - wurde den Mitgliedern von A._ eine neue, überarbeitete Traktandenliste abgegeben. Darin waren als Traktandum 7 deren Antrag auf Abwahl des Präsidenten und als Traktanden 8 lit. a-c die Wahl des Präsidenten, des Kassiers und "weiterer Vorstandsmitglieder" aufgeführt. Gemäss Versammlungsprotokoll sprach sich die Vereinsversammlung "mit grossem Mehr" für die Verwendung der neuen Traktandenliste aus und wurde in der Folge dem Antrag von A._ auf Abwahl des Präsidenten "grossmehrheitlich zugestimmt" und "der Präsident, X._, ohne Gegenstimme abgewählt". Weiter wurden drei neue Vorstandsmitglieder (Präsident, Kassier und zweite Beisitzerin) gewählt und zogen A._ und B._ ihre Rücktrittserklärungen zurück, wobei im Protokoll vermerkt ist, Erstere werde als Aktuarin und Letztere als erste Beisitzerin im Vorstand verbleiben.
B. Mit Klage vom 28. Juni 2010 verlangten X._ und Y._, es seien die Beschlüsse der Vereinsversammlung vom 13. März 2010 betreffend neue Traktandenliste, Antrag A._ auf Abwahl des Präsidenten sowie Neuwahl des Vorstandes aufzuheben, eventualiter seien sie als nichtig zu erklären. Mit Entscheid vom 8. April 2011 wies das Kreisgericht St. Gallen die Klage ab, ebenso das Kantonsgericht St. Gallen mit Entscheid vom 5. Januar 2012 die hiergegen erhobene Berufung, soweit es darauf eintrat.
C. Gegen den Entscheid des Kantonsgerichtes St. Gallen haben X._ und Y._ am 7. Februar 2012 eine Beschwerde eingereicht mit den Begehren um dessen Aufhebung sowie um Aufhebung der Beschlüsse der Vereinsversammlung vom 13. März 2010 betreffend neue Traktandenliste, Antrag A._ auf Abwahl des Präsidenten sowie Neuwahl des Vorstandes, eventualiter um Nichtigerklärung der betreffenden Beschlüsse, subeventualiter um Rückweisung der Sache zur Beweiserhebung und neuen Entscheidung an das Kantonsgericht. Das Gesuch um aufschiebende Wirkung wurde mit Präsidialverfügung vom 28. Februar 2012 abgewiesen. In der Sache selbst wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1. Angefochten ist eine kantonal letztinstanzlich beurteilte nicht vermögensrechtliche Zivilrechtsstreitigkeit, gegen welche die Beschwerde in Zivilsachen offen steht (Art. 72 Abs. 1, Abs. 75 Abs. 1 und <ref-law>); als solche ist demnach die als "Beschwerde" bezeichnete Eingabe vom 7. Februar 2012 entgegenzunehmen. Auf die Eintretensfrage ist im Sachzusammenhang zurückzukommen (siehe E. 4).
2. Das Kantonsgericht hat ausgeführt, gemäss Ziff. 3.1.6 der Vereinsstatuten seien Anträge der Mitglieder zu Traktanden der ordentlichen Vereinsversammlung "dem Präsidenten ... bis spätestens 31. Dezember vor der GV einzureichen". Unbestrittenermassen sei die Sendung mit dem Antrag von A._ auf Abwahl des Präsidenten diesem am 28. Dezember 2009 ins Postfach avisiert und ihm am 4. Januar 2010 zugestellt worden. Die von den Beschwerdeführern angerufene bundesgerichtliche Rechtsprechung, wonach eine Sendung bei ihrer Abholung oder am letzten Tag der unbenutzten siebentägigen Abholfrist als zugestellt gelte, finde nur auf die von Behörden verschickten Sendungen Anwendung, während sich der Zugang von Erklärungen im privatrechtlichen Verkehr im Allgemeinen nach der sog. Empfangstheorie richte, nach welcher eine Sendung in der Regel als zugestellt gelte, sobald sie in den Machtbereich des Empfängers gelangt sei, indem sie ihm oder einem zum Empfang berechtigten Dritten übergeben oder in seinen Briefkasten oder sein Postfach gelegt werde. Hinterlege der Postbote bei Einschreibebriefen zuhanden des abwesenden Empfängers eine Abholungseinladung, so gelte die Sendung nach der Empfangstheorie als zugegangen, sobald es dem Empfänger zumutbar sei, der Abholungseinladung Folge zu leisten, was im Allgemeinen spätestens am Tag nach Empfang der Einladung der Fall sei. In seiner Funktion als Präsident, bei welchem sich der Vereinssitz befunden hätte, habe X._ am Jahresende jederzeit mit dem postalischen Eingang von Mitgliederanträgen rechnen müssen, weshalb die am 24. Dezember 2009 von A._ abgeschickte und X._ am 28. Dezember 2009 avisierte Sendung spätestens am 29. Dezember 2009 diesem als zugestellt zu gelten habe.
In materieller Hinsicht hat das Kantonsgericht befunden, dass die Vereinsversammlung gemäss <ref-law> das Recht habe, die Organe und damit auch den Präsidenten jederzeit abzuberufen; dieses Recht sei statutarisch nicht abgeändert worden. In der Einladung zur Vereinsversammlung sei die Traktandierung mit "Begehren von A._ betr. Präsidialamt" für die Vereinsmitglieder hinreichend klar als Absetzungsbegehren erfolgt, weshalb die Anforderungen von <ref-law> erfüllt seien. Sodann sei die "Wahl eines/einer neuen Kassiers/in" und die "Wahl von neuen Beisitzern" rechtzeitig traktandiert worden. Im Übrigen sei die Vereinsversammlung ordnungsgemäss zusammengesetzt gewesen und es hätten keine nicht stimmberechtigten Nichtvereinsmitglieder aktiv teilgenommen. Schliesslich sei X._ als Präsident jedenfalls mit deutlichem Mehr abgewählt worden, selbst wenn die Darstellung der Beschwerdeführer, es habe sechs Gegenstimmen gegeben, zutreffen würde.
3. Die Beschwerdeführer machen vor Bundesgericht geltend, gemäss Statuten habe der Verein seinen Sitz am Wohnort des Vereinspräsidenten. Dies sei bis und mit Frühjahr 2010 die C._strasse xx in D._ gewesen. Die Damen A._ und B._ hätten aber ihre Schreiben nicht an seine Privatadresse an der C._ xx, wo der Briefkasten täglich geleert werde, sondern an das Postfach yyy in D._ gesandt. Inhaber dieses Postfaches sei nicht er privat, sondern die X._ Treuhand, die wiederum ihren Sitz an der E._gasse zz in D._ habe. Die Treuhandgesellschaft habe über Weihnachten/Neujahr 2009/2010 Betriebsferien gehabt, weshalb die Schreiben erst am 4. Januar 2010 hätten in Empfang genommen werden können. Die Ausführungen im angefochtenen Urteil seien somit falsch und müssten richtig gestellt werden. Gleichzeitig stehe damit fest, dass die beiden Schreiben eben erst am 1. Arbeitstag des Jahres 2010 in den Machtbereich von X._ gelangt seien. Den beiden Damen seien die verschiedenen Adressen bekannt gewesen und die falsche Adressierung könne nicht X._ angelastet werden. Sodann müsse man am BGE festhalten, wo bestimmt worden sei, welches Datum als Zustellung gelte, zumal es sich um einen neuen BGE handle und auf der Abholungseinladung der Post nicht angegeben werde, um was für eine Sendung es sich handle. Im Übrigen habe der Rücktritt der beiden Damen durch den verbleibenden Vorstand, X._, akzeptiert werden müssen, da es unstatthaft sei, einen Rücktritt an Bedingungen zu knüpfen; Rücktritt sei eben Rücktritt und bleibe Rücktritt.
4. Mit den Ausführungen rund um die verschiedenen Postadressen, um deren Funktion, um das angebliche diesbezügliche Wissen der Damen A._ und B._ sowie um die Abwesenheit über die Festtage wird ein neuer Sachverhalt vorgetragen, der im angefochtenen Entscheid nicht festgestellt ist. Darauf kann nicht eingetreten werden: Neue tatsächliche Vorbringen sind vor Bundesgericht grundsätzlich unzulässig (<ref-law>) und der im kantonal letztinstanzlichen Entscheid festgestellte Sachverhalt ist für das Bundesgericht verbindlich (<ref-law>). In diesem Zusammenhang könnte einzig gerügt werden, er sei offensichtlich unrichtig festgestellt worden (<ref-law>), wobei "offensichtlich unrichtig" mit "willkürlich" gleichzusetzen ist (Botschaft, BBl 2001 IV 4338; <ref-ruling> E. 1.2.2 S. 252; <ref-ruling> E. 7.1 S. 398). Solches wird nicht vorgebracht, insbesondere keine Verletzung verfassungsmässiger Rechte angerufen, weshalb angesichts des hierfür geltenden strengen Rügeprinzips (<ref-law>; <ref-ruling> E. 1.4.2 S. 255; <ref-ruling> E. 2.2 S. 246) nicht weiter auf die Vorbringen eingegangen werden kann.
Die weiteren Ausführungen beschlagen die Rechtsanwendung. Diesbezüglich gilt zwar nicht das strenge Rügeprinzip im Sinn von <ref-law>, wohl aber die Begründungsanforderung gemäss <ref-law>, wonach in gedrängter Form darzulegen ist, inwiefern der angefochtene Entscheid Recht verletzt. Dies bedeutet, dass sich die Beschwerdeführer wenigstens ansatzweise mit den ausführlichen Erwägungen im angefochtenen Entscheid, weshalb vorliegend nicht die Regelung betreffend Zustellung gerichtlicher Akte (siebentägige Abholfrist, vgl. <ref-ruling> E. 1.2.3 S. 399), sondern die für privatrechtliche Willenserklärungen topische uneingeschränkte Empfangstheorie (vgl. dazu und zu ihren Ausnahmen <ref-ruling> E. 3 S. 212 ff.) Anwendung findet, auseinandersetzen müssten. Diesen Begründungsanforderungen genügt die Beschwerde nicht.
Soweit schliesslich der Rücktritt der Damen A._ und B._ thematisiert wird, ist nicht der durch die Rechtsbegehren umschriebene Streitgegenstand (Anfechtung der Vereinsbeschlüsse vom 13. März 2010 "betreffend neue Traktandenliste, Antrag A._ auf Abwahl des Präsidenten sowie Neuwahl des Vorstandes") betroffen, weshalb die Ausführungen an der Sache vorbeigehen.
5. Zusammenfassend ergibt sich, dass auf die Beschwerde in Zivilsachen nicht eingetreten werden kann. Den Beschwerdeführern sind bei diesem Verfahrensausgang praxisgemäss reduzierte Gerichtskosten aufzuerlegen (<ref-law>). Die Gegenseite hat zum Gesuch um aufschiebende Wirkung keine Vernehmlassung eingereicht und in der Sache selbst erging keine entsprechende Aufforderung; im bundesgerichtlichen Verfahren ist ihr somit kein entschädigungspflichtiger Aufwand entstanden.

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde in Zivilsachen wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 1'500.-- werden den Beschwerdeführern auferlegt.
3. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 19. April 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Möckli