Sachverhalt:
A. A.a Mit Eingang bei der Gemeinde Rickenbach vom 16. Dezember 2010 stellten Y._ als Gesamteigentümer und Bauherren ein Gesuch für den An- und Umbau der bestehenden Garage sowie des Stallgebäudes mit Einbau einer Wohnung auf dem Grundstück Nr. A._, Grundbuch Rickenbach. Das Baugesuch lag vom 23. Dezember 2010 bis zum 11. Januar 2011 öffentlich auf. Am 6. Januar 2011 fand zum Baugesuch eine Besprechung statt, an der X._ als Gesamteigentümer des an die Bauparzelle angrenzenden landwirtschaftlichen Grundstücks Nr. B._, Grundbuch Rickenbach, der Architekt des Bauprojekts Z._ von der W._ AG, V._ vom Ingenieurbüro U._ und auf Seiten der Gemeinde Rickenbach der Bauverwalter T._ sowie die Gemeindeschreiber-Substitutin S._ teilnahmen. Als Ergebnis der Besprechung stellte unter anderem der Bauverwalter in Aussicht, beim Gemeinderat Rickenbach die Sistierung des Baubewilligungsverfahrens zu beantragen. In der Folge erhoben X._ bis zum 11. Januar 2011 keine Einsprache.
A. A.a Mit Eingang bei der Gemeinde Rickenbach vom 16. Dezember 2010 stellten Y._ als Gesamteigentümer und Bauherren ein Gesuch für den An- und Umbau der bestehenden Garage sowie des Stallgebäudes mit Einbau einer Wohnung auf dem Grundstück Nr. A._, Grundbuch Rickenbach. Das Baugesuch lag vom 23. Dezember 2010 bis zum 11. Januar 2011 öffentlich auf. Am 6. Januar 2011 fand zum Baugesuch eine Besprechung statt, an der X._ als Gesamteigentümer des an die Bauparzelle angrenzenden landwirtschaftlichen Grundstücks Nr. B._, Grundbuch Rickenbach, der Architekt des Bauprojekts Z._ von der W._ AG, V._ vom Ingenieurbüro U._ und auf Seiten der Gemeinde Rickenbach der Bauverwalter T._ sowie die Gemeindeschreiber-Substitutin S._ teilnahmen. Als Ergebnis der Besprechung stellte unter anderem der Bauverwalter in Aussicht, beim Gemeinderat Rickenbach die Sistierung des Baubewilligungsverfahrens zu beantragen. In der Folge erhoben X._ bis zum 11. Januar 2011 keine Einsprache.
A.b Auf Antrag des Bauverwalters sistierte der Gemeinderat Rickenbach am 18. Januar 2011 das Bewilligungsverfahren, nahm dann in der Folge auf Bestreben der Gesuchsteller hin aber doch ergänzende Abklärungen vor. Mit Entscheid vom 29. März 2011 erteilte er die Bau- sowie Zufahrtsbewilligung unter Bedingungen und Auflagen.
A.c Am 21. April 2011 erhoben X._ sowie R._ Verwaltungsgerichtsbeschwerde beim Verwaltungsgericht des Kantons Luzern und beantragten die Aufhebung des Baubewilligungsentscheids sowie die Verweigerung der fraglichen Baubewilligung. In der Folge zog R._ seine Beschwerde wegen fehlender Legitimation zurück. Mit Urteil vom 5. September 2011 erklärte das Verwaltungsgericht die Verwaltungsgerichtsbeschwerde von R._ als erledigt und trat auf die Verwaltungsgerichtsbeschwerde von X._ nicht ein. Zur Begründung wurde im Wesentlichen ausgeführt, das Ehepaar X._ habe nach der öffentlichen Auflage keine Einsprache erhoben und sei daher nicht legitimiert, gegen die Baubewilligung Verwaltungsgerichtsbeschwerde zu führen; entgegen ihrer Auffassung könnten sie die Beschwerdebefugnis auch nicht aufgrund ihnen gegenüber erteilten behördlichen Zusagen aus dem Grundsatz von Treu und Glauben ableiten.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 8. Oktober 2011 an das Bundesgericht beantragen X._, den Nichteintretensentscheid des Verwaltungsgerichts aufzuheben und dieses anzuweisen, auf ihre Beschwerde einzutreten. Zur Begründung machen sie im Wesentlichen einen Verstoss gegen den Grundsatz von Treu und Glauben nach Art. 9 und 5 Abs. 3 BV, die Verletzung von Art. 29 Abs. 1 BV wegen formeller Rechtsverweigerung sowie einen Verstoss gegen die Rechtsweggarantie gemäss Art. 29a BV und Art. 6 EMRK geltend.
C. Y._ schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Der Gemeinderat Rickenbach stellt Antrag auf Abweisung der Beschwerde. Das Verwaltungsgericht ersucht unter Verzicht auf weitere Ausführungen ebenfalls, die Beschwerde abzuweisen.
D. X._ haben sich am 26. November 2011 (Postaufgabe am 8. Dezember 2011) nochmals zur Sache geäussert.
Erwägungen:
1. 1.1 Beim angefochtenen Urteil des Verwaltungsgerichts handelt es sich um einen kantonal letztinstanzlichen Endentscheid in einer Angelegenheit des öffentlichen Rechts, gegen den die Beschwerde in öffentlich-rechtlichen Angelegenheiten gemäss Art. 83 ff. BGG offen steht. Die Beschwerdeführer haben vor der Vorinstanz am Verfahren teilgenommen, sind durch den angefochtenen Nichteintretensentscheid besonders berührt und haben als Grundstücksnachbarn des von der strittigen Baubewilligung erfassten Grundstücks ein schutzwürdiges Interesse an der Aufhebung oder Abänderung des Urteils der Vorinstanz, weshalb sie zur Beschwerde beim Bundesgericht berechtigt sind (vgl. Art. 89 Abs. 1 BGG).
1.2 Streitgegenstand ist einzig, ob die Beschwerdeführer vor dem Verwaltungsgericht zur Verwaltungsgerichtsbeschwerde legitimiert waren bzw. ob die Vorinstanz zu Recht mangels Beschwerdeberechtigung auf die bei ihr erhobene Beschwerde nicht eingetreten ist. Auf den Rechtsstreit in der Sache, nämlich ob die Baubewilligung zu Recht erteilt wurde, ist im vorliegenden Verfahrensstadium nicht einzugehen, was auch die Beschwerdeführer grundsätzlich nicht verkennen.
1.2.1 Nach Art. 105 Abs. 1 BGG legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Deren Sachverhaltsfeststellung kann nur auf Rüge hin oder von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer gravierenden Rechtsverletzung (im Sinne von Art. 95 BGG) beruht (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Ein solcher Mangel ist nicht ersichtlich, weshalb das Bundesgericht an die tatsächlichen Feststellungen des Verwaltungsgerichts gebunden ist.
2. 2.1 Für die Beschwerdeberechtigung vor dem Verwaltungsgericht ist das entsprechende kantonale Verfahrensrecht massgeblich. Gemäss § 107 Abs. 2 lit. d des luzernischen Gesetzes vom 3. Juli 1972 über die Verwaltungsrechtspflege; VRG; SRL Nr. 40) setzt ein Sachentscheid unter anderem die Befugnis zur Rechtsvorkehr voraus, was von Amtes wegen zu prüfen ist (vgl. § 107 Abs. 1 VRG). Die Rechtsmittelbefugnis richtet sich in Bau- und Planungssachen indes grundsätzlich nicht nach der entsprechenden allgemeinen verfahrensrechtlichen Regel von § 129 VRG, sondern nach der für das Bau- und Planungsrecht besonderen Bestimmung von § 207 des Planungs- und Baugesetzes des Kantons Luzern vom 7. März 1989 (PBG; SRL Nr. 735). Gemäss § 207 Abs. 1 lit. a PBG kommt die Beschwerdebefugnis in Bau- und Planungsstreitigkeiten Personen zu, die an der Abweisung eines Gesuches oder an der Änderung oder Aufhebung eines angefochtenen Entscheids, Beschlusses oder Entwurfs ein schutzwürdiges Interesse haben. § 207 Abs. 2 PBG bestimmt, dass nur Beschwerde führen kann, wer sich als Partei am Einspracheverfahren beteiligt hat, wenn ein solches vor dem Erlass eines Entscheids oder Beschlusses durchgeführt wird, der in Anwendung des Bundesgesetzes über die Raumplanung und des luzernischen Planungs- und Baugesetzes ergeht. Es ist unbestritten, dass diese Bestimmung im vorliegenden Fall grundsätzlich einschlägig ist. Die Beschwerdeführer bestreiten auch nicht deren Bundesrechtmässigkeit, insbesondere deren Verfassungsmässigkeit.
2.2 Die Beschwerdeführer machen vielmehr in erster Linie geltend, der angefochtene Entscheid verstosse gegen den Vertrauensgrundsatz, weil sie in guten Treuen davon hätten ausgehen dürfen, es werde keine Baubewilligung erteilt, solange ihrem den Gemeindebehörden bekannten Standpunkt nicht Folge geleistet werde, bzw. es würden andernfalls ihre Einwände als Einsprache anerkannt. Nach Auffassung der Beschwerdeführer mussten sie nicht mit der Erteilung der Baubewilligung rechnen, nachdem ihnen an einer Sitzung vom 6. Januar 2011 vom Bauverwalter der Gemeinde unter Beisein eines Mitgliedes des Gemeinderats zugesichert worden sei, dass das Baugesuch im damaligen Zeitpunkt nicht bewilligungsfähig sei und beim Gemeinderat Antrag auf Sistierung des Verfahrens gestellt werde. Überdies sei den Gemeindevertretern der Standpunkt der Beschwerdeführer aus einem früheren Verfahren aus dem Jahre 2007 bekannt gewesen; damals hätten sie eine Einsprache zu einem Umzonungsbegehren der Beschwerdegegner nur deshalb zurückgezogen, weil ihnen die Beachtung ihrer Vorbehalte, insbesondere der Ausschluss der Errichtung einer Wohnbaute auf dem Nachbargrundstück, zugesichert worden sei. Ergänzend berufen sich die Beschwerdeführer darauf, aus den gleichen Zusammenhängen sei ihnen formell das Recht bzw. der Zugang zu einem Gericht verweigert worden.
2.3 Nach § 194 Abs. 1 PBG sind öffentlich-rechtliche und privatrechtliche Einsprachen mit einem Antrag und dessen Begründung während der Auflagefrist schriftlich und im Doppel bei der in der öffentlichen Bekanntmachung und in der Bekanntgabe an die Anstösser angegebenen Stelle einzureichen. Ausnahmetatbestände, die Personen, welche Widerstand gegen ein Bauprojekt leisten wollen, von der Einsprachepflicht befreien, kennt das Gesetz nicht. Eine die Formvorschriften erfüllende Einsprache haben die Beschwerdeführer unbestrittenermassen nicht eingereicht. Es fragt sich daher einzig, ob sie insbesondere aus Vertrauensgründen auf die Erhebung einer förmlichen Einsprache verzichten durften, ohne ihre Rechte als Einsprecher zu verlieren.
3. 3.1 Art. 5 Abs. 3 BV enthält den allgemeinen rechtsstaatlichen Grundsatz, dass staatliche Organe und Private nach Treu und Glauben handeln. Dieses Prinzip wird in Art. 9 BV grundrechtlich ergänzt. Der grundrechtlich verstärkte Grundsatz von Treu und Glauben verleiht einer Person Anspruch auf Schutz des berechtigten Vertrauens in behördliche Zusicherungen oder sonstiges, bestimmte Erwartungen begründendes Verhalten der Behörden. Voraussetzung dafür ist, dass die Person, die sich auf Vertrauensschutz beruft, berechtigterweise auf diese Grundlage vertrauen durfte und gestützt darauf nachteilige Dispositionen getroffen hat, die sie nicht mehr rückgängig machen kann; die Berufung auf Treu und Glauben scheitert jedoch dann, wenn ihr überwiegende öffentliche Interessen gegenüberstehen (BGE 129 I 161 E. 4.1 S. 170 mit Hinweisen). In diesem Sinne kann das Recht auf Vertrauensschutz sogar bewirken, dass eine selbst unrichtige Zusicherung einer Behörde unter bestimmten Umständen eine vom materiellen Recht abweichende Behandlung des Rechtsuchenden gebietet. Zu den Voraussetzungen dafür gehört unter anderem, dass die Amtsstelle für die Erteilung der Zusicherung zuständig war oder der Bürger sie aus zureichenden Gründen als zuständig betrachten durfte und dass die anfragende Person die Unrichtigkeit bei pflichtgemässer Aufmerksamkeit nicht ohne weiteres erkennen konnte (BGE 127 I 31 E. 3a S. 36 mit Hinweisen).
3.2 Im vorliegenden Zusammenhang wäre eine Befreiung von der Einsprachepflicht im Bauverfahren in diesem Sinne nur denkbar, wenn die für die Baubewilligung zuständige Behörde einer einspracheberechtigten Person zusichern würde, auch ohne Einsprache die Baubewilligung zu verweigern, ohne damit die Verfahrensrechte der Gesuchsteller zu kürzen. Zuständig für die Erteilung der Baubewilligung ist im vorliegenden Fall unbestrittenermassen der Gemeinderat Rickenbach.
3.3 Auslöser der Auseinandersetzungen zwischen den Beschwerdeführern und den Beschwerdegegnern war eine ursprünglich von diesen ohne Bewilligung erstellte Anbaute (Lager- und Geräteschuppen). Eine Umzonung des betroffenen Grundstücks bezweckte unter anderem die Legalisierung dieser Anbaute, sah aber auch die Möglichkeit von Wohnbauten vor. Weil die Beschwerdeführer rechtliche Konflikte wegen Immissionen befürchteten, die von ihrem eigenen landwirtschaftlichen Schweinezucht- und Milchviehhaltungsbetrieb ausgehen, wehrten sie sich gegen die Umzonung, angeblich nicht wegen der Legalisierung der bereits bestehenden Anbaute, sondern wegen der durch die Umzonung erlaubten neuen oder erweiterten Möglichkeit zur Erstellung von Wohnbauten.
3.3.1 Die Gemeindevertreter und namentlich der Gemeinderat kannten diesen Standpunkt der Beschwerdeführer aus dem entsprechenden Umzonungsverfahren von 2006 und 2007. In jenem Verfahren zogen die Beschwerdeführer ihre damalige Einsprache nur zurück, weil der Gemeinderat ihnen gegenüber schriftlich bestätigt hatte, dass die Eigentümer des Grundstücks Nr. A._ gemäss Art. 20 des Bau- und Zonenreglements der Gemeinde Rickenbach (BZR) ihre bestehenden Wohn- und Ökonomiegebäude massvoll vergrössern oder umnutzen könnten, die ohne Bewilligung erstellte Anbaute aber auch nach der Umzonung der Restparzelle in die Weilerzone nicht für Wohnzwecke genutzt werden dürfe. Diese schriftlichen Erklärungen des Gemeinderates hätten die Beschwerdeführer allenfalls für die Untermauerung ihres materiellrechtlichen Standpunktes beiziehen können, sie ersetzen aber weder eine Einsprache im vorliegenden Verfahren noch enthalten sie eine Zusicherung, auch künftig keine Baubewilligungen zu erteilen, und auch keinen Dispens von der Einsprachepflicht bei allfälligen späteren Baugesuchen der Beschwerdegegner.
3.3.2 Im Übrigen hätte der Gemeinderat im Umzonungsverfahren auch keine verbindlichen Zusicherungen machen können. Nach § 63 Abs. 1 PBG entscheiden die Stimmberechtigten oder das Gemeindeparlament und nicht der Gemeinderat über den Zonenplan und das Bau- und Zonenreglement. Weiter ist die damalige Erklärung des Gemeinderates weder in eine förmliche Auflage geflossen noch in anderer Weise in den Umzonungsentscheid aufgenommen worden. Die Beschwerdegegner wurden sodann, wie das Verwaltungsgericht festhält, "hierüber offenbar gar nicht in Kenntnis gesetzt". Dass externe Rechtswirkungen mit der gemeinderätlichen Erklärung verbunden waren, erscheint daher sehr fraglich. Und schliesslich wäre ein genereller Ausschluss von Wohnbauten auch materiellrechtlich fragwürdig gewesen, nachdem die Weilerzone gemäss dem kantonalen Recht zu den Bauzonen zählt (vgl. den unter dem Abschnitt "Bauzonen" aufgeführten § 47 PBG) und Art 20 BZR bestimmte Wohnmöglichkeiten in der Weilerzone der Gemeinde Rickenbach ausdrücklich zulässt.
3.3.3 So oder so vermochte die damalige Erklärung des Gemeinderates keine auch nur indirekten Rechtswirkungen für die Beschwerdegegner als Dritte zu entfalten, namentlich indem sie die Beschwerdeführer von der Pflicht zur Erhebung einer förmlichen Einsprache im späteren Baubewilligungsverfahren entbunden hätte.
3.4 Die Beschwerdeführer berufen sich hauptsächlich auf die Besprechung vom 6. Januar 2011 im hängigen Baubewilligungsverfahren. Gemäss dem Protokoll dieser Sitzung hielt der Bauverwalter damals fest, das Baugesuch könne nicht bewilligt werden, solange die Beschwerdeführer nicht von ihren Forderungen abrücken würden, die sie als Bedingung für den Einspracherückzug im Jahre 2007 geäussert hätten. Unter der Rubrik "Weiteres Vorgehen" wurde aufgeführt, dass das Baugesuch aufgrund der entsprechenden Auflagen momentan nicht bewilligungsfähig sei und dass der Bauverwalter dem Gemeinderat beantragen werde, das Baugesuch bis zur Genehmigung der Zonenplanrevision an der Gemeindeversammlung zu sistieren.
3.4.1 Der Bauverwalter hatte demnach einzig zugesichert, dem Gemeinderat einen Sistierungsantrag zu stellen, was er in der Folge auch tat. Der Gemeinderat sistierte das Verfahren antragsgemäss, bevor er es später auf Bestreben der Beschwerdegegner hin wieder aufnahm und den Bewilligungsentscheid fällte. Für diese Folge konnte der Bauverwalter jedoch keine verbindliche Zusicherung geben, lag doch schon der Sistierungs-, erst recht aber der Bewilligungsentscheid als solcher nicht in seiner Kompetenz.
3.4.2 Die Beschwerdeführer sind der Ansicht, die Aussagen des Bauverwalters müssten dem Gemeinderat zugerechnet werden. Daraus ergebe sich, dass dieser ihnen zugesichert habe, die Baubewilligung zu verweigern, solange sie an ihren aus dem früheren Verfahren bekannten Vorbehalten festhielten. Das trifft indessen nicht zu. Der Bauverwalter konnte keine den Gemeinderat bindende Aussage machen. Er konnte nur für sich selbst sprechen und seine eigene Auffassung kundtun. An seine eigenen Zusicherungen hat er sich gehalten. Dass mit Z._ ein Mitglied des Gemeinderats an der Besprechung teilnahm, ändert daran nichts, war dieser doch nicht in seiner Funktion als Gemeinderat, sondern als Architekt der Beschwerdegegner beteiligt; im Protokoll findet sich denn auch kein Hinweis auf seine Eigenschaft als Gemeinderat, sondern er ist ausdrücklich als Vertreter der W._ AG vermerkt. Als solcher ist er dann später im Übrigen bei der Behandlung des Baugesuches durch den Gemeinderat in den Ausstand getreten. Aus der Sitzung vom 6. Januar 2011 kann daher dem Gemeinderat nicht die verbindliche Zusicherung zugeschrieben werden, die Baubewilligung auch ohne Einsprache zu verweigern. Genauso wenig lässt sich daraus indirekt ableiten, die Beschwerdeführer seien dadurch von der entsprechenden Pflicht zur Einspracheerhebung befreit worden.
3.4.3 Die Beschwerdeführer durften sodann nicht davon ausgehen, der Bauverwalter habe den Gemeinderat rechtsgültig vertreten können. Über eine solche Stellung verfügte er nicht, woran selbst das offizielle Beisein eines Gemeinderats nichts geändert hätte. Den Beschwerdeführern mussten im Übrigen die Zuständigkeiten aus dem früheren Verfahren bekannt sein. Überdies hätte ihnen auch klar sein sollen, dass es zur rechtlichen Ausgangslage unterschiedliche Auffassungen gab. Aus dem Sitzungsprotokoll geht etwa hervor, dass einzelne Teilnehmer von der Bewilligungsfähigkeit des Bauprojekts ausgingen und selbst unter Berücksichtigung der Argumente der Beschwerdeführer der Meinung waren, es sei zumindest offen, ob es sich im vorliegenden Fall um einen rechtlich kritischen Erweiterungsbau oder einen grundsätzlich zulässigen Bau an einem neuen Standort handle. Bei dieser Sachlage durften die Beschwerdeführer nicht einfach davon ausgehen, der Gemeinderat übernehme ohne weiteres die Auffassung des Bauverwalters.
3.4.4 Aus späteren Vorgängen, insbesondere aus dem Sistierungsbeschluss des Gemeinderates vom 18. Januar 2011 sowie aus dem nachfolgenden Briefwechsel des Gemeinderates mit dem Bau-, Umwelt- und Wirtschaftsdepartement des Kantons Luzern (vgl. das Schreiben des Gemeinderates vom 8. Februar 2011 und die Antwort des Departements vom 2. März 2011) können die Beschwerdeführer ohnehin keine Vertrauensgrundlage für den Verzicht auf die Einreichung einer formellen Einsprache bis zum 11. Januar 2011 ableiten.
3.5 Entgegen ihrer Auffassung durften die Beschwerdeführer sodann auch nicht davon ausgehen, dass die Gemeindebehörden ihr Verhalten aus Vertrauensgründen als konkludente Einsprache und die Sitzung vom 6. Januar 2011 als solche zur gütlichen Erledigung einer solchen verstanden hatten.
3.5.1 Aus dem früheren Verfahren über die Umzonung mussten ihnen die Verfahrensabläufe bekannt gewesen sein. Zudem schreibt das Gesetz in § 194 Abs. 1 PBG ausdrücklich bestimmte Formalien für eine Einsprache vor, von denen es keine Ausnahme gibt. Bei der Sitzung vom 6. Januar 2011 konnte es sich überdies nicht um eine Einspracheverhandlung handeln, hätten doch die Beschwerdegegner bei einer solchen anwesend oder zumindest dazu eingeladen worden sein müssen, was nicht zutraf und worauf an der Sitzung vom Architekten Z._ noch ausdrücklich hingewiesen worden war.
3.5.2 Aus dem Protokoll der Sitzung ist auch nicht ersichtlich, dass Thema und Zweck derselben die Behandlung einer Einsprache hätte sein sollen. Vielmehr scheint es dem Bauverwalter, dem der Standpunkt der Beschwerdeführer ja vom früheren Umzonungsverfahren her bekannt war, darum gegangen zu sein, vorweg mögliche Lösungsansätze zu finden und damit eine wahrscheinliche Auseinandersetzung zwischen Nachbarn zu vermeiden. Das befreite die Beschwerdeführer indes nicht davor, form- und fristgerecht Einsprache zu erheben. Es ist zwar verständlich, dass sie den Konflikt mit ihren Grundstücknachbarn nicht unnötig verschärfen wollten; um aber ihre Rechte im Bewilligungsverfahren zu wahren, durften sie nicht auf die Einsprache verzichten. Es ist letztlich mit der Sinn eines formalisierten Verfahrens, klare Verhältnisse zu schaffen.
3.5.3 Schliesslich vermag auch die an sich zutreffende Rechtsmittelbelehrung im Schreiben des Gemeinderates vom 8. April 2011 an die Beschwerdeführer, mit dem diesen die Erteilung der Baubewilligung mitgeteilt wurde, das Fehlen der Einsprache nicht zu ersetzen. Eine Rechtsmittelbelehrung, zu der die Behörden grundsätzlich verpflichtet sind, bestätigt nicht das Vorliegen der Sachurteilsvoraussetzungen.
3.6 Der angefochtene Entscheid verstösst demnach nicht gegen den Grundsatz von Treu und Glauben.
4. Das Urteil der Vorinstanz verletzt auch weder das Verbot der formellen Rechtsverweigerung nach Art. 29 Abs. 1 BV noch die Rechtsweggarantie gemäss Art. 29a BV und allenfalls Art. 6 EMRK, soweit diese Bestimmung im vorliegenden Fall anwendbar ist. Überspitzt formalistische Anforderungen können zwar unter Umständen gegen diese prozessualen Grundrechte verstossen. Ein solcher Sachverhalt liegt hier aber nicht vor. Es wäre den Beschwerdeführern ohne weiteres relativ einfach möglich gewesen, eine rechtsgültige Einsprache einzureichen. Weder wurden dafür überhöhte Anforderungen gestellt noch hielten die Gemeindebehörden die Beschwerdeführer in irgendeiner Weise von der Einreichung einer Einsprache ab. Die Beschwerdeführer haben sich die entsprechende Zurückhaltung, wenn auch eventuell aus durchaus ehrbaren Motiven, selbst auferlegt. Wenn sie dies nachträglich als Fehler erkannt haben, können sie das nicht den Gemeindebehörden anlasten, die vielmehr versucht haben, den möglichen Nachbarschaftskonflikt im voraus zu entschärfen.
5. Die Beschwerde erweist sich als unbegründet und ist abzuweisen. Bei diesem Verfahrensausgang werden die Beschwerdeführer unter Solidarhaft kostenpflichtig (Art. 66 Abs. 1 und 5, Art. 65 BGG). Überdies haben sie, ebenfalls unter solidarischer Haftung, die obsiegenden Beschwerdegegner als Solidargläubiger für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern unter Solidarhaft auferlegt.
3. Die Beschwerdeführer haben in solidarischer Haftung die Beschwerdegegner als Solidargläubiger für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Gemeinderat Rickenbach und dem Verwaltungsgericht des Kantons Luzern, Verwaltungsrechtliche Abteilung, schriftlich mitgeteilt.
Lausanne, 9. Februar 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Uebersax