Sachverhalt:
A. A.a Die Staatsanwaltschaft Zürich-Limmat leitete ein Strafverfahren ein gegen X._ wegen häuslicher Gewalt zum Nachteil seiner Ehefrau sowie ein weiteres Strafverfahren wegen Versicherungs- und Sozialhilfebetrugs zum Nachteil einer privaten Versicherungsgesellschaft bzw. der öffentlichen Sozialhilfe. Nachdem sich bei einer Einvernahme vom 12. April 2012 der Verdacht ergeben hatte, dass qualifizierte Gewaltdelikte (Vergewaltigung bzw. qualifizierte Fälle häuslicher Gewalt) vorliegen könnten, stellte die Staatsanwaltschaft Zürich-Limmat gleichentags ein Ersuchen um Verfahrensübernahme an die Staatsanwaltschaft IV des Kantons Zürich. Diese lehnte die Übernahme ab, soweit es um die Strafuntersuchungen wegen Handlungen gegen das Vermögen geht.
A.b In der Folge wandte sich die Staatsanwaltschaft Zürich-Limmat am 19. April 2012 an die Oberstaatsanwaltschaft des Kantons Zürich und ersuchte diese um Klärung der Zuständigkeit. Am 24. April 2012 traf der Leitende Oberstaatsanwalt die folgende Verfügung:
"1. Das Verfahren betreffend Häusliche Gewalt ist durch die Staatsanwaltschaft IV zu führen.
2. Das Verfahren betreffend Betrug etc. ist durch die Staatsanwaltschaft Zürich-Limmat zu führen.
3. Sollte es in beiden Verfahren gemäss Ziffer 1 und 2 zu einer Anklage kommen, ist, sofern keine unüberwindbaren Hindernisse entgegenstehen, eine Anklage zu erheben. Die Verfahren sind entsprechend zu koordinieren."
B. Gegen diese Verfügung reichte X._ am 25. April 2012 beim Obergericht des Kantons Zürich Beschwerde ein. Dieses leitete die Beschwerde zuständigkeitshalber an das Bundesgericht weiter. X._ stellt im Wesentlichen die folgenden Anträge:
"Der angefochtene Entscheid vom 24. April 2012 sei aufzuheben.
Es sei zu bestimmen, dass die Staatsanwaltschaft IV des Kantons Zürich sämtliche gegen den Beschwerdeführer gerichtete (Straf-)Verfahren zu führen hat.
Eventualiter sei die Staatsanwaltschaft Zürich-Limmat mit der Führung sämtlicher Verfahren zu betrauen.
Subenventualiter: Es sei eine einheitliche Verfahrensleitung zu bestimmen."
Zur Begründung wird hauptsächlich ein Verstoss gegen die Zuständigkeitsregelung in der Strafprozessordnung sowie eine Verletzung des Anspruchs auf rechtliches Gehör bzw. der Pflicht zur Begründung behördlicher Entscheide geltend gemacht.
C. Die Oberstaatsanwaltschaft des Kantons Zürich schliesst auf Abweisung der Beschwerde. Die Staatsanwaltschaft IV des Kantons Zürich und die Staatsanwaltschaft Zürich-Limmat haben sich innert Frist nicht vernehmen lassen.
D. X._ hat sich am 3. Juni 2012 nochmals zur Sache geäussert.

Erwägungen:
1. 1.1 Nach <ref-law> beurteilt das Bundesgericht Beschwerden gegen Entscheide in Strafsachen. Diese sind unter anderem zulässig gegen Entscheide letzter kantonaler Instanzen (<ref-law>), wobei die Kantone als solche obere Gerichte einsetzen, die als Rechtsmittelinstanzen entscheiden, ausser wenn nach der Strafprozessordnung ein anderes Gericht als einzige kantonale Instanz zuständig ist (<ref-law>; dazu MARC THOMMEN, in: Niggli/Uebersax/Wiprächtiger [Hrsg.], Bundesgerichtsgesetz, Kommentar, 2. Auflage, 2011, N. 14 f. zu <ref-law>).
1.2 Nach <ref-law> entscheidet die Ober- oder Generalstaatsanwaltschaft oder, wenn keine solche vorgesehen ist, die Beschwerdeinstanz eines Kantons endgültig, wenn der Gerichtsstand unter Strafbehörden des gleichen Kantons streitig ist. Gegen den angefochtenen Entscheid steht damit gemäss <ref-law> kein Rechtsmittel nach der Strafprozessordnung, insbesondere nicht die Beschwerde nach <ref-law>, offen (ERICH KUHN, in: Niggli/Heer/Wiprächtiger [Hrsg.], Schweizerische Strafprozessordnung, Kommentar, 2011, N. 9 zu <ref-law>), weshalb er kantonal letztinstanzlich ist. <ref-law> bildet einen Ausnahmetatbestand gemäss <ref-law>, der vom Erfordernis der doppelten Instanz dispensiert. Das Obergericht hat die Sache daher zu Recht an das Bundesgericht weitergeleitet zur Prüfung der Zuständigkeitsfrage und gegebenenfalls zum Entscheid in der Sache (vgl. <ref-law>).
1.3 Freilich besteht zwischen <ref-law> und <ref-law> insofern ein Widerspruch, als das Bundesgerichtsgesetz für die Beschwerde an das Bundesgericht eine richterliche Vorinstanz voraussetzt, während die Strafprozessordnung die Anrufung eines über der Oberstaatsanwaltschaft stehenden kantonalen Gerichts gerade ausschliesst.
1.3.1 Das wirft die Frage auf, ob die Beschwerde in Strafsachen an das Bundesgericht daran scheitert, dass es eben keine richterliche Vorinstanz gibt. Dies entspräche jedoch nicht der Absicht des Gesetzgebers, hält doch die entsprechende Botschaft des Bundesrates vom 21. Dezember 2005 zur Strafprozessordnung ausdrücklich fest, dass gegen die gemäss <ref-law> als endgültig oder nicht anfechtbar bezeichneten Entscheide die Beschwerde in Strafsachen nach <ref-law> zur Verfügung stehe (BBl 2006 1307 zu Art. 388 des Entwurfs zur StPO; vgl. auch MARTIN ZIEGLER, in: Niggli/Heer/Wiprächtiger [Hrsg.], Schweizerische Strafprozessordnung, Kommentar, 2011, N. 4 zu <ref-law>).
1.3.2 In der Literatur wird zwar auch ausgeführt, der Grund für den Rechtsmittelausschluss in der Strafprozessordnung liege darin, dass das Verfahren in den fraglichen Fällen einstweilen seinen Fortgang nehmen und der verfahrensleitende Entscheid erst in Verbindung mit dem Endentscheid angefochten werden können soll (VIKTOR LIEBER, in: Donatsch/Hansjakob/Lieber, Kommentar zur Schweizerischen Strafprozessordnung [StPO], 2010, N. 2 zu <ref-law>). Bei der Frage der sachlichen Zuständigkeit für die Strafuntersuchung macht eine solche Verschiebung der Anfechtbarkeit auf den Endentscheid keinen Sinn, erscheint es doch gerade unerlässlich, über die Zuständigkeit vorweg definitiv zu befinden, bevor die Strafuntersuchung durchgeführt wird. Zuständigkeitsentscheide gelten denn auch für die Beschwerde an das Bundesgericht als selbstständig anfechtbar (vgl. <ref-law> sowie E. 1.4 unten). Mit der Regelung von <ref-law> bezweckte der Gesetzgeber gerade, dass das Bundesgericht über Streitigkeiten über die Zuständigkeit und Ausstandsbegehren befindet, ohne dass dafür das Ende des Verfahrens bzw. der Endentscheid in der Sache abzuwarten sind.
1.3.3 Die gesetzliche Regelung ist somit unvollständig. Diesem Umstand ist durch eine verfassungskonforme, harmonisierende Ausgestaltung der Gesetzesordnung Rechnung zu tragen. Wegleitend muss dafür sein, dass einerseits ein Rechtsmittel zulässig sein muss, andererseits die Frage der sachlichen Zuständigkeit für die Strafverfolgung rasch geklärt wird. Bei dieser Sachlage ist davon auszugehen, dass dem Gesetzgeber bei <ref-law> ein Versehen unterlaufen ist. Die in <ref-law> hinsichtlich der Vorinstanzen umschriebene Zulässigkeit der Beschwerde in Strafsachen ist dahingehend zu ergänzen, dass auch selbstständig eröffnete Zwischenentscheide der Ober- bzw. Generalstaatsanwaltschaft über die innerkantonale Zuständigkeit der Strafbehörden direkt beim Bundesgericht angefochten werden können.
1.4 Beim angefochtenen Entscheid handelt es sich mithin um einen selbstständig eröffneten Zwischenentscheid über die Zuständigkeit, gegen den nach <ref-law> die Beschwerde an das Bundesgericht offensteht. Damit ist die Beschwerde in Strafsachen an das Bundesgericht zulässig (so auch FINGERHUTH/LIEBER, in: Donatsch/Hansjakob/Lieber, Kommentar zur Schweizerischen Strafprozessordnung [StPO], 2010, N. 3 zu <ref-law>; NIKLAUS SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, 2009, N. 8 zu <ref-law>).
1.5 Der Beschwerdeführer ist gemäss <ref-law> zur Beschwerde legitimiert. Eine Möglichkeit zur Teilnahme am Verfahren vor der Oberstaatsanwaltschaft hatte er trotz entsprechender grundsätzlicher Möglichkeit der Anfechtung der Zuständigkeit (vgl. <ref-law>) nicht, da der entsprechende Kompetenzkonflikt bis dahin einzig unter den beteiligten Staatsanwaltschaften ausgetragen wurde (lit. a). Als beschuldigte Person verfügt er sodann über ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids (lit. b).
2. 2.1 Der Beschwerdeführer rügt einen Verstoss gegen den Anspruch auf rechtliches Gehör (<ref-law>), weil der angefochtene Entscheid praktisch überhaupt nicht, aber jedenfalls nicht genügend begründet sei. Die Oberstaatsanwaltschaft macht geltend, eine ausführliche Begründung in ihrer Vernehmlassung an das Bundesgericht nachgeliefert zu haben, womit der allfällige Mangel geheilt sei. Der Beschwerdeführer wendet dagegen wiederum ein, eine solche Heilung sei nur schon darum ausgeschlossen, weil die Oberstaatsanwaltschaft selbst behaupte, beim Zuständigkeitsentscheid über ein gewisses Ermessen zu verfügen; es könne daher nicht von einer vollständigen Kognition des Bundesgerichts bei der Überprüfung des Kompetenzentscheids ausgegangen werden, was aber Voraussetzung einer Heilung wäre.
2.2 Wie es sich damit verhält, kann offen bleiben, da der Entscheid schon aus anderem Grunde aufzuheben und an die Oberstaatsanwaltschaft zurückzuweisen ist.
3. 3.1 Nach <ref-law> prüfen die Strafbehörden ihre Zuständigkeit von Amtes wegen und leiten einen Fall wenn nötig der zuständigen Stelle weiter. Die sachliche Zuständigkeit ist in Art. 29 f. StPO, die örtliche in <ref-law> geregelt. Im vorliegenden Fall stellt sich primär die Frage der sachlichen Zuständigkeit, da die örtliche an sich unstrittig ist, nachdem alle Delikte in der Stadt Zürich begangen wurden und beide beteiligten Staatsanwaltschaften zur Bearbeitung von Verfahren auf dem Gebiet der Stadt Zürich zuständig sind. Gemäss <ref-law> werden Straftaten gemeinsam verfolgt und beurteilt, wenn eine beschuldigte Person mehrere Straftaten verübt hat. Nach <ref-law> können die Staatsanwaltschaft und die Gerichte Strafverfahren aus sachlichen Gründen trennen oder vereinen.
3.2 <ref-law> enthält, gemäss der ausdrücklichen Marginalie der Bestimmung, den Grundsatz der Verfahrenseinheit. Dieses Prinzip bildet seit langem ein Wesensmerkmal des schweizerischen Straf- und Strafverfahrensrechts (vgl. auch <ref-law>). Es besagt unter anderem, nicht zuletzt unter dem Gesichtspunkt der sachlichen Zuständigkeit, dass mehrere Straftaten einer einzelnen Person in der Regel in einem einzigen Verfahren verfolgt und beurteilt werden (URS BARTEZKO, in: Niggli/Heer/Wiprächtiger [Hrsg.], Schweizerische Strafprozessordnung, Kommentar, 2011, N. 1 zu <ref-law>; FINGERHUTH/LIEBER, a.a.O., N. 1 zu <ref-law>; SCHMID, a.a.O., N. 1 zu <ref-law>). Der Grundsatz der Verfahrenseinheit bezweckt die Verhinderung sich widersprechender Urteile und dient der Prozessökonomie (<ref-ruling>). Eine Verfahrenstrennung ist gemäss <ref-law> nur bei Vorliegen sachlicher Gründe zulässig und muss die Ausnahme bleiben. Die sachlichen Gründe müssen objektiv sein. Die Verfahrenstrennung soll dabei vor allem der Verfahrensbeschleunigung dienen bzw. eine unnötige Verzögerung vermeiden helfen (vgl. in diesem Sinne das Urteil 1B_684/2011 vom 21. Dezember 2011). In der Literatur werden als sachliche Gründe etwa die bevorstehende Verjährung einzelner Straftaten oder die Unerreichbarkeit einzelner beschuldigter Personen genannt. Alle Beispiele beziehen sich auf Charakteristika des Verfahrens, des Täters oder der Tat, nicht aber auf organisatorische Aspekte auf Seiten der Strafverfolgungsbehörden (vgl. BARTEZKO, a.a.O., N. 1 ff. zu <ref-law>; FINGERHUTH/LIEBER, a.a.O., N. 1 ff. zu <ref-law>; SCHMID, a.a.O., N. 2 zu <ref-law>).
3.3 Gemäss <ref-law> bestimmen die Kantone ihre Strafbehörden und insbesondere deren Organisation und Befugnisse. Nach § 93 des zürcherischen Gesetzes vom 10. Mai 2010 über die Gerichts- und Behördenorganisation im Zivil- und Strafprozess (GOG) bestehen die Staatsanwaltschaften im Kanton Zürich aus Allgemeinen und Besonderen Staatsanwaltschaften. Gemäss § 9 der zürcherischen Verordnung vom 27. Oktober 2004 über die Organisation der Oberstaatsanwaltschaft und der Staatsanwaltschaften teilen sich die Allgemeinen Staatsanwaltschaften die Zuständigkeit nach geografischen Gesichtspunkten. Dazu zählt die Staatsanwaltschaft Zürich-Limmat mit Zuständigkeit für bestimmte Stadtkreise in der Stadt Zürich und für den Zürichsee. Nach § 10 derselben Verordnung werden zur Bearbeitung besonderer Geschäfte jeweils für das ganze Kantonsgebiet vier Besondere Staatsanwaltschaften zuständig erklärt, worunter die Staatsanwaltschaft IV für Gewaltdelikte. Die sachliche Zuständigkeit dieser Staatsanwaltschaften wird in Ziffer 4.1 der Weisungen der Oberstaatsanwaltschaft für das Vorverfahren (WOSTA; in der hier anwendbaren Fassung vom 1. Januar 2012 auf www.staatsanwaltschaften.zh.ch/Strafverfahren/Erlasse) konkretisiert. Nach Ziffer 4.1.5.4 fallen namentlich qualifizierte Fälle von häuslicher Gewalt in die Zuständigkeit der Staatsanwaltschaft IV.
3.4 Diese Kompetenzordnung der Staatsanwaltschaften im Kanton Zürich ist an sich nicht zu beanstanden und mit Bundesrecht grundsätzlich vereinbar. Es fragt sich jedoch, was gilt, wenn wie hier demselben Beschuldigten mehrere Delikte vorgeworfen werden, welche in die Zuständigkeit verschiedener Staatsanwaltschaften fallen. Ein Vergleich mit der Regelung über die örtliche Zuständigkeit unterstreicht insofern die Bedeutung des Prinzips der Verfahrenseinheit. So sind die Verfahren bei Begehung mehrerer Delikte am selben Ort durch dieselbe Person genauso zu vereinen (vgl. <ref-law>) wie bei der gemeinsamen Begehung von Straftaten durch mehrere Personen (vgl. <ref-law>) oder bei der Verübung mehrerer Delikte an verschiedenen Orten (vgl. <ref-law>).
3.5 Die Oberstaatsanwaltschaft rechtfertigt die Aufteilung der Verfahren im vorliegenden Fall mit der Spezialisierung der Zürcher Staatsanwaltschaften in einzelnen Fachgebieten, die zum Zwecke der Prozessökonomie geschaffen wurde. Die Abtrennung der Verfahren wegen häuslicher Gewalt einerseits und wegen der Betrugsdelikte andererseits sei damit sachlich begründet. Dem Anliegen der einheitlichen Anwendung der materiellen Strafzumessungsgründe und der einheitlichen Verteidigung werde insofern Rechnung getragen, als die beiden Verfahren koordiniert werden müssten und jedenfalls nur eine Anklage zu erheben sei.
3.6 Selbst wenn tatsächlich nur eine Anklage erhoben würde, vermöchte dies nichts daran zu ändern, dass sich der Beschwerdeführer einer Strafuntersuchung in zwei Verfahren mit verschiedenen Staatsanwaltschaften sowie Mitarbeitenden derselben gegenübersehen würde. Die Spezialisierung darf jedoch nicht dazu führen, dass bei mehreren Delikten der Grundsatz der Verfahrenseinheit die Ausnahme und die Verfahrenstrennung die Regel wird. Dies würde dem Sinn des Gesetzes zuwiderlaufen. Insofern gibt es entgegen der Auffassung der Oberstaatsanwaltschaft angesichts der klaren gesetzlichen Regelung in <ref-law> nur ein beschränktes Ermessen der kantonalen Strafverfolgungsbehörden. Sind mehrere Straftaten zu verfolgen, so ist in der Regel vielmehr zu gewährleisten, dass nur ein Strafverfahren mit einer einheitlichen Untersuchung durchgeführt wird. Davon abzuweichen rechtfertigt sich einzig, wenn es sachliche Argumente (im Sinne von <ref-law>) dafür gibt. Das schliesst freilich nicht aus, dass sich bei mehreren Delikten die Zuständigkeit der Staatsanwaltschaft nach deren Spezialisierung für eine bestimmte Straftat richtet, etwa für diejenige mit der höchsten Strafdrohung. Die Zuständigkeit für die anderen Delikte hat diesfalls jedoch der solchermassen bestimmten Kompetenz für das Hauptdelikt zu folgen. Denkbar sind allerdings auch andere Kriterien wie der Vorrang des Tatorts oder der Vorrang der Erstbefassung. Besteht in einem Verfahren das Bedürfnis, Fachleute aus anderen Organisationseinheiten der Strafverfolgungsbehörden beizuziehen, so kann dies die zuständige Staatsanwaltschaft ohne Weiteres tun.
3.7 Indem der angefochtene Entscheid das Strafverfahren betreffend häusliche Gewalt der Staatsanwaltschaft IV und dasjenige betreffend Betrug usw. der Staatsanwaltschaft Zürich-Limmat zuweist, verstösst er gegen Bundesrecht. Der fragliche Kompetenzkonflikt ist in dem Sinne zu lösen, dass nur eine Staatsanwaltschaft für alle Delikte zuständig erklärt wird, die dem Beschwerdeführer vorgeworfen werden. Es liegt nicht am Bundesgericht, zu bestimmen, welche der beiden Staatsanwaltschaften die Strafuntersuchung durchführen soll. Gerade dafür verfügt die Oberstaatsanwaltschaft über ein gewisses Ermessen, indem sie etwa eher auf die Spezialisierung für das offenbar im Vordergrund stehende Delikt der häuslichen Gewalt mit integraler Zuständigkeit der Staatsanwaltschaft IV abstellen oder der Erstbefassung durch die Staatsanwaltschaft Zürich-Limmat den Vorrang geben kann. Die Sache ist mithin an die Oberstaatsanwaltschaft zurückzuweisen zu neuem Entscheid über die Zuständigkeit für das Strafverfahren.
4. Die Beschwerde erweist sich als begründet und ist gutzuheissen. Der angefochtene Entscheid ist aufzuheben. Die Sache geht zurück an die Oberstaatsanwaltschaft zu neuem Entscheid über die Zuständigkeit für das Strafverfahren im Sinne der Erwägungen.
Bei diesem Verfahrensausgang sind keine Kosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Hingegen hat der Kanton Zürich den Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid der Oberstaatsanwaltschaft des Kantons Zürich vom 24. April 2012 aufgehoben. Die Sache wird an die Oberstaatsanwaltschaft des Kantons Zürich zurückgewiesen zu neuem Entscheid über die Zuständigkeit im Sinne der Erwägungen.
2. Es werden keine Kosten erhoben.
3. Der Kanton Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft IV des Kantons Zürich, der Staatsanwaltschaft Zürich-Limmat sowie der Oberstaatsanwaltschaft und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 10. Juli 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Uebersax