Sachverhalt:
A. A.a Am 12. April 2011 ersuchten die E._ AG sowie F._ als Eigentümer der in der Kernzone B der Gemeinde Feusisberg liegenden Grundstücke L._ um Erlass des von der M._ AG verfassten Gestaltungsplanes "N._". Dieser wurde am 15. April 2011 öffentlich aufgelegt. In der Folge erhob unter anderem die Interessengemeinschaft (IG) R._ Einsprache. Die Einsprache war unterzeichnet von B._ (Präsident), C._, A._, D._ und H._. Mit Beschluss vom 16. Juni 2011 trat der Gemeinderat Feusisberg auf die Einsprache nicht ein. Gleichentags erliess er mit separatem Beschluss den Gestaltungsplan.
A.b Am 27. März 2012 wies der Regierungsrat des Kantons Schwyz eine gegen den Nichteintretensentscheid erhobene Beschwerde ab, soweit er darauf eintrat.
A.c Mit Entscheid vom 24. Juni 2012 wies das Verwaltungsgericht des Kantons Schwyz, Kammer III, eine gegen den Regierungsratsentscheid gerichtete Beschwerde ab, soweit es darauf eintrat.
B. Mit als Beschwerde in öffentlich-rechtlichen Angelegenheiten bzw. subsidiärer Verfassungsbeschwerde bezeichneter Eingabe vom 12. September 2012 an das Bundesgericht beantragen A._, B._, C._ und D._, den Entscheid des Verwaltungsgerichts aufzuheben; sinngemäss ersuchen sie weiter darum, das Verwaltungsgericht anzuweisen, den unteren Instanzen die nötigen Anweisungen für die Fortsetzung des Verfahrens zu erteilen. Zur Begründung berufen sie sich im Wesentlichen auf die Verletzung von Art. 5, 8 und 9 BV, von kantonalem und interkantonalem Recht sowie von Art. 95 und 96 BGG.
C. Die E._ AG und F._ sowie der Regierungsrat und das Verwaltungsgericht des Kantons Schwyz schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Gemeinde Feusisberg hat auf eine Stellungnahme verzichtet.
D. A._, B._, C._ und D._ äusserten sich mit Replik vom 7. Dezember 2012 nochmals zur Sache.
E. Der Regierungsrat des Kantons Schwyz hat ausdrücklich auf zusätzliche Ausführungen verzichtet. Weitere Rechtsschriften gingen beim Bundesgericht nicht mehr ein.
Erwägungen:
1. 1.1 Gemäss Art. 82 lit. a BGG beurteilt das Bundesgericht Beschwerden in Angelegenheiten des öffentlichen Rechts. Dieses Rechtsmittel steht auch auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung. Das Bundesgerichtsgesetz enthält dazu keinen Ausschlussgrund. Nach Art. 34 Abs. 1 RPG gelten für die Rechtsmittel an die Bundesbehörden die allgemeinen Bestimmungen über die Bundesrechtspflege (BGE 133 II 249 E. 1.2 S. 251; 133 II 409 E. 1.1 S. 411).
1.2 Streitgegenstand ist einzig die Frage der Einsprachebefugnis der vier beschwerdeführenden Privatpersonen im Zusammenhang mit der Anfechtung des Gestaltungsplanes "N._" vor dem Gemeinderat Feusisberg als nach schwyzerischem Recht für die Behandlung von Einsprachen gegen Gestaltungspläne in seiner Gemeinde zuständige Behörde. Soweit sich die Beschwerdeführer inhaltlich zur Rechtmässigkeit der Einsprache äussern, kann daher auf die Beschwerde von vornherein nicht eingetreten werden.
1.3 Entgegen der Auffassung der Beschwerdegegner erweist sich die anwendbare 30-tägige Beschwerdefrist nach Art. 100 Abs. 1 BGG als gewahrt. Nachdem der angefochtene Entscheid am 31. Juli 2012 versandt wurde, wie die Beschwerdegegner selbst darlegen, begann die Frist wegen des Fristenstillstands vom 15. Juli bis zum 15. August gemäss Art. 46 Abs. 1 lit. b BGG erst am 16. August 2012 zu laufen. Die Beschwerdeschrift wurde am 12. September 2012 und damit innert der Frist bei der Schweizerischen Post aufgegeben.
1.4 Gemäss Art. 89 Abs. 1 BGG ist zur Beschwerde legitimiert, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit dazu erhalten hat (lit. a), durch den angefochtenen Entscheid besonders berührt ist (lit. b) und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat (lit. c). Die Beschwerdeführer sind vom angefochtenen Entscheid besonders berührt, soweit es um ihre Einsprachebefugnis geht, und haben insoweit auch ein schutzwürdiges Interesse an der Aufhebung oder Änderung des angefochtenen Entscheides. Die Beschwerdegegner bestreiten die Beschwerdebefugnis der Beschwerdeführer 2-4 mit der Begründung, diese hätten vor dem Verwaltungsgericht nicht in eigenem Namen, sondern nur als Mitglieder der Interessengemeinschaft Beschwerde geführt, womit sie nicht am vorinstanzlichen Verfahren teilgenommen hätten, weshalb es ihnen an der formellen Beschwer fehle. Indessen hat das Verwaltungsgericht zwar eine Beschwerdebefugnis der Interessengemeinschaft im Sinne der Verbandsbeschwerde verneint, die Mitglieder aber als beschwerdeführende Individualpersonen behandelt, soweit sie in eigenem Namen Beschwerde erhoben hätten (vgl. E. 4.1 und 5 in Verbindung mit E. 3 des angefochtenen Entscheids). Inhaltlich hat die Vorinstanz denn auch die Einsprachebefugnis aller Beteiligten geprüft, womit diesen die Beschwerdebefugnis vor dem Bundesgericht nicht abgesprochen werden kann.
1.5 Da die Beschwerde in öffentlich-rechtlichen Angelegenheiten gemäss Art. 82 ff. BGG offen steht, ist die subsidiäre Verfassungsbeschwerde nach Art. 113 ff. BGG ausgeschlossen, wie sich bereits aus ihrer Bezeichnung sowie aus Art. 113 BGG ergibt.
2. 2.1 Mit der Beschwerde an das Bundesgericht kann, von hier nicht interessierenden Ausnahmen abgesehen, nur die Verletzung von Bundesrecht, Völkerrecht und kantonalen verfassungsmässigen Rechten (vgl. Art. 95 lit. a-c BGG) sowie die offensichtlich unrichtige Feststellung des Sachverhaltes (vgl. Art. 97 Abs. 1 BGG) gerügt werden.
2.2 Gemäss Art. 42 Abs. 2 BGG ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Der Beschwerdeführer muss sich wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzen. Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (Art. 106 Abs. 1 BGG). Das setzt aber voraus, dass auf die Beschwerde überhaupt eingetreten werden kann, diese also wenigstens die Begründungsanforderungen von Art. 42 Abs. 2 BGG erfüllt. Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung) geltend gemacht wird. Dies prüft das Bundesgericht grundsätzlich nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; vgl. BGE 133 II 249 E. 1.4 S. 254 f.).
2.3 Die Beschwerdeführer wenden sich nicht gegen die tatsächlichen Feststellungen des Verwaltungsgerichts und es gibt auch keine Hinweise für die offensichtliche Unrichtigkeit der vorinstanzlichen Sachverhaltsfeststellungen, weshalb diese für das Bundesgericht verbindlich sind (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 1 und 2 BGG). Die Beschwerdeführer rügen jedoch ausdrücklich einen Verstoss gegen Art. 5, 8 und 9 BV, gegen kantonales und interkantonales Recht sowie gegen Art. 95 und 96 BGG. Wieweit diese beiden letzteren Bestimmungen des Bundesgerichtsgesetzes verletzt worden sein sollten, wird indessen nicht dargelegt, ebensowenig worin ein Verstoss gegen die rechtsstaatlichen Grundsätze von Art. 5 BV und das Rechtsgleichheitsgebot gemäss Art. 8 BV sowie gegen interkantonales Recht liegen soll. Nicht gerügt werden kann mit der Beschwerde an das Bundesgericht überdies, dass kantonales Gesetzesrecht verletzt worden sein soll. Auf alle diese Punkte ist mithin nicht einzugehen. Das Bundesgericht kann die Auslegung und Anwendung des kantonalen Gesetzesrechts immerhin auf Vereinbarkeit mit Bundesrecht hin überprüfen, wozu auch dessen willkürfreie Umsetzung im Sinne von Art. 9 BV zählt. Die entsprechende Rüge wird in der Beschwerdeschrift rechtsgenüglich begründet. Nebst dieser Verfassungsbestimmung werden darin ergänzend die Art. 33 RPG und 89 BGG sowie, zumindest sinngemäss, Art. 111 BGG angerufen. Die Beschwerdeschrift enthält auch dazu eine ausreichende Begründung. In diesen Punkten erweist sich die Beschwerde demnach als zulässig.
2.4 Schliesslich dürfen nach Art. 99 BGG neue Tatsachen und Beweismittel nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt. Da diese Voraussetzung im vorliegenden Fall nicht erfüllt ist, kann auf sämtliche neuen Vorbringen der Verfahrensbeteiligten nicht eingegangen werden.
3. 3.1 Nach Art. 111 BGG muss sich am Verfahren vor allen kantonalen Vorinstanzen als Partei beteiligen können, wer zur Beschwerde an das Bundesgericht berechtigt ist, und dabei mindestens die Rügen gemäss Art. 95-98 BGG erheben können. Der in dieser Bestimmung enthaltene Grundsatz der Einheit des Verfahrens schliesst die Anforderung mit ein, dass vor den dem Bundesgericht vorgeschalteten unteren Instanzen die Rechtsmittelbefugnis wenigstens im gleichen Umfang gewährt wird wie vor dem Bundesgericht selbst. Art. 33 RPG wiederholt diesen Grundsatz für das Raumplanungsrecht sogar ausdrücklich. Danach muss das kantonale Recht wenigstens ein Rechtsmittel gegen Verfügungen und Nutzungspläne gemäss dem Raumplanungsgesetz vorsehen, wobei die Legitimation mindestens im gleichen Umfang wie für die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht zu gewährleisten ist (BGE 136 II 281 E. 2.1 S. 283 f.). Massgeblich sind die in Art. 89 Abs. 1 BGG definierten Anforderungen. Verlangt wird neben der formellen Beschwer, dass der Beschwerdeführer über eine spezifische Beziehungsnähe zur Streitsache verfügt und einen praktischen Nutzen aus der Aufhebung oder Änderung des angefochtenen Entscheids zieht. Die Voraussetzungen von Art. 89 Abs. 1 lit. b und lit. c BGG hängen eng zusammen. Die Nähe der Beziehung zum Streitgegenstand muss bei Bauprojekten insbesondere in räumlicher Hinsicht gegeben sein. Ein schutzwürdiges Interesse liegt vor, wenn die tatsächliche oder rechtliche Situation des Beschwerdeführers durch den Ausgang des Verfahrens beeinflusst werden kann (Urteil des Bundesgerichts 1C_434/2010 vom 9. März 2011 E. 2.2 in: URP 2011 S. 336; BGE 133 II 400 E. 2.2 S. 404 f. mit Hinweisen. Zur Beschwerdebefugnis bei Nachbarbeschwerden: BGE 133 II 181 E. 3.2.2 mit Hinweisen; ZBl 111/2010 S. 403 E. 2.4).
3.2 Nach § 30 Abs. 3 des schwyzerischen Planungs- und Baugesetzes vom 14. Mai 1987 (PBG) kann gegen den Erlass eines Gestaltungsplanes während der Auflagefrist beim Gemeinderat Einsprache erheben, wer durch den Plan oder die Sonderbauvorschriften berührt ist und an deren Aufhebung oder Änderung ein schutzwürdiges Interesse hat. Nach § 65 der schwyzerischen Verordnung vom 6. Juni 1974 über die Verwaltungsrechtspflege (VRP) ist zu einer Einsprache befugt, wer ein eigenes, unmittelbares und schützenswertes Interesse dartut. Demgegenüber übernimmt die jüngere Bestimmung von § 37 Abs. 1 VRP für die allgemeine Definition der Rechtsmittelbefugnis in der schwyzerischen Verwaltungsrechtspflege die Regelung von Art. 89 Abs. 1 BGG, sieht also insbesondere vor, dass die Person, die ein Rechtsmittel erhebt, vom angefochtenen Entscheid oder der angefochtenen Verfügung besonders berührt ist.
4. 4.1 Zur Bestimmung der Einsprachebefugnis im vorliegenden Fall stützten sich die Vorinstanzen auf § 37 Abs. 1 VRP. Die Beschwerdeführer sind demgegenüber der Ansicht, einschlägig seien die Anforderungen gemäss § 30 Abs. 3 PBG bzw. § 65 VRP, weshalb insbesondere nicht ein besonderes Berührtsein durch den angefochtenen Gestaltungsplan erforderlich sei, sondern die grundsätzliche Betroffenheit für sich allein genüge.
4.2 Indem die Vorinstanzen sich auf § 37 VRP stützten, der Art. 89 Abs. 1 BGG nachgebildet ist, wendeten sie dieselben Kriterien an, wie sie für die Legitimation im bundesgerichtlichen Verfahren gelten. Insofern haben sie die Legitimationsvoraussetzungen nicht enger gefasst. Dass die Rechtsmittelbefugnis in den unterinstanzlichen Verfahren in einem weiteren Sinne gewährt werden muss als vor dem Bundesgericht, verlangt weder Art. 111 BGG noch Art. 33 RPG. Der angefochtene Entscheid verletzt mithin Bundesgesetzesrecht nicht.
4.3 Es kann sich mithin einzig fragen, ob das Verwaltungsgericht mit dem angefochtenen Entscheid das kantonale Recht willkürlich auslegt und anwendet. Gemäss der ständigen Praxis des Bundesgerichts ist ein Entscheid willkürlich, wenn er offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist; dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 137 I 1 E. 2.4 S. 5; 134 II 124 E. 4.1 S. 133; je mit Hinweisen).
4.4 Wie sowohl im angefochtenen Entscheid als auch in der Vernehmlassung des Regierungsrats ausgeführt wird, entspricht es konstanter Praxis der Verwaltungsbehörden und des Verwaltungsgerichts, die Voraussetzungen der Einsprachebefugnis nach § 30 Abs. 3 PBG und § 65 VRP anhand von § 37 Abs. 1 VRP zu definieren. Dieser wurde bewusst Art. 89 Abs. 1 BGG nachgebildet. Eine Anpassung von § 65 VRP und § 30 Abs. 3 PBG ist gemäss den kantonalen Behörden bloss versehentlich unterblieben. Die entsprechenden Ausführungen leuchten ein. Es gibt keine Hinweise dafür, dass für die raumplanungs- und baurechtliche Einsprachebefugnis etwas anderes gewollt war, und die Beschwerdeführer vermögen ihre gegenteilige Auffassung mit keinerlei einschlägigen Anhaltspunkten ausser dem ungeänderten Wortlaut von § 30 Abs. 3 PBG und § 65 VRP zu unterlegen; namentlich nennen sie keine Stellen in den Materialien, die eine Schlussfolgerung in ihrem Sinne nahe legen würden. Obwohl eine andere Auslegung theoretisch auch möglich wäre, erweist sich diejenige der Vorinstanzen jedenfalls nicht als willkürlich. Insbesondere erscheint sie geeignet, die Einsprachebefugnis effizient dafür einzusetzen, dass die Einsprache nicht als unerwünschtes Popularrechtsmittel dient. Die zur Nachbar- und Konkurrentenbeschwerde entwickelten Rechtsgrundsätze genügen durchaus, um dort die Einsprachelegitimation zu gewähren, wo eine solche schutzwürdig erscheint. Im Übrigen hat das Bundesgericht die Auslegung des schwyzerischen Rechts zur Einsprachebefugnis anhand der Legitimation zur Beschwerde an das Bundesgericht in einem anderen Fall geschützt (vgl. das Urteil des Bundesgerichts 1A.148/2005 vom 20. Dezember 2005); obwohl es damals noch um die Umsetzung alten Rechts ging, so lassen sich doch entsprechende Parallelen zum vorliegenden Fall ziehen, zumal der schwyzerische Gesetzgeber die Kongruenz der Rechtsordnungen durch Anpassung von § 37 Abs. 1 VRP gerade anstrebte.
4.5 Erweist sich die Auslegung des kantonalen Rechts mithin nicht als willkürlich, so ist lediglich noch zu prüfen, ob dies auch auf dessen Anwendung im vorliegenden Einzelfall zutrifft.
4.5.1 Zunächst ist nicht unhaltbar, dass die Vorinstanz den Beschwerdeführern die Einsprachebefugnis als vom Projekt möglicherweise berührte Konkurrenten abspricht. Die Befürchtung, einer verstärkten Konkurrenz ausgesetzt zu sein, genügt zur Beschwerdelegitimation nämlich nicht. Erforderlich ist eine spezifische Beziehungsnähe, die sich aus einer einschlägigen wirtschaftspolitischen oder sonstigen speziellen gesetzlichen Regelung wie etwa durch Kontingentierungen, Bedürfnisklauseln oder Monopoleinräumungen oder durch eine sonstige privilegierte Behandlung ergibt (vgl. das Urteil des Bundesgerichts 2C_694/2009 vom 20. Mai 2010 E. 1.1 nicht publ. in: BGE 136 II 291; BGE 127 II 264 E. 2c und E. 2h f. S. 269, 271 f.; 125 I 7 E. 3d-g S. 9 ff.; BERNHARD WALDMANN, in: Niggli/ Uebersax/Wiprächtiger [Hrsg.], Basler Kommentar zum Bundesgerichtsgesetz, 2. Aufl., 2011, N. 23 ff.). Einen solchen Zusammenhang legen die Beschwerdeführer nicht dar, und er ist auch nicht ersichtlich.
4.5.2 Sodann durfte das Verwaltungsgericht in örtlicher Hinsicht gestützt auf die aktenkundigen Situationspläne willkürfrei davon ausgehen, dass die erforderliche räumliche Beziehungsnähe nicht gegeben ist (vgl. dazu etwa BGE 136 II 281; WALDMANN, a.a.O., N. 21 ff.). Erneut vermögen die Beschwerdeführer nicht zu belegen, und es geht auch nicht aus den Akten hervor, dass sich ihre Liegenschaften in beachtenswerter naher Beziehung zum Baugrundstück befinden, weshalb massgebliche Auswirkungen auf ihr Grundeigentum zu befürchten sind. Eine gewisse örtliche Nähe ist dabei unerlässlich, und die Auswirkungen auf die Liegenschaften müssten nach Art und Intensität so beschaffen sein, dass sie auch bei objektiver Betrachtungsweise als Nachteil empfunden würden. Weder liegen die Grundstücke der Beschwerdeführer in unmittelbarer Nähe zum Bauprojekt, noch vermögen diese entscheidende immissionsträchtige Einwirkungen auf ihre Grundstücke darzutun. Dass sich unter Umständen durch das Bauprojekt eine neue verkehrsmässige Situation ergeben kann, genügt dafür nicht, solange die befürchteten Beeinträchtigungen nicht deutlich wahrnehmbar sind (vgl. BGE 136 II 281 E. 2.3.2 S. 285 f.). Ein solcher qualifizierter Zusammenhang ist nicht ersichtlich. Im Ergebnis läuft der Standpunkt der Beschwerdeführer eben doch darauf hinaus, dass sich diese vor allem in ihrer gewerblichen Stellung gefährdet erachten, ohne dass dafür, wie bereits dargelegt, eine massgebliche, sie besonders treffende Benachteiligung ursächlich wäre. Insgesamt ist es demnach nicht willkürlich, wenn die Vorinstanzen den Beschwerdeführern die Einsprachebefugnis abgesprochen haben.
5. 5.1 Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
5.2 Bei diesem Verfahrensausgang werden die unterliegenden Beschwerdeführer unter Solidarhaft kostenpflichtig (Art. 66 Abs. 1 und 5 sowie Art. 65 BGG). Überdies haben sie unter Solidarhaft den Beschwerdegegnern als Solidargläubiger für das bundesgerichtliche Verfahren eine angemessene Entschädigung auszurichten (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern unter Solidarhaft auferlegt.
3. Die Beschwerdeführer haben die Beschwerdegegner als Solidargläubiger für das bundesgerichtliche Verfahren unter Solidarhaft mit Fr. 4'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Gemeinderat Feusisberg, dem Regierungsrat des Kantons Schwyz und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, schriftlich mitgeteilt.
Lausanne, 21. Februar 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Merkli
Der Gerichtsschreiber: Uebersax