Erwägungen:
1. 1.1 X._ (geb. 1979) ist Staatsbürger von Bosnien und Herzegowina. Am 28. Dezember 2006 heiratete er die aus Kroatien stammende Schweizer Bürgerin Y._. X._ reiste am 26. Mai 2007 in die Schweiz ein und erhielt in der Folge eine Aufenthaltsbewilligung. In seinem Gesuch um Erteilung einer Aufenthaltsbewilligung erklärte er, weder in der Schweiz noch im Ausland vorbestraft zu sein.
1.2 Im März und April 2010 nahmen die Genfer Strafverfolgungsbehörden X._ in Untersuchungshaft. Dabei stellte sich heraus, dass er in Deutschland zwischen 2001 und 2004 zu folgenden Strafen verurteilt worden war: Im Jahr 2001 zu 20 Tagessätzen à DM 20.-- Geldstrafe wegen vorsätzlichen Fahrens ohne Fahrerlaubnis; ebenfalls im Jahr 2001 zu 40 Tagessätzen zu je DM 20.-- wegen Körperverletzung; im Jahr 2002 zu drei Jahren und acht Monaten Freiheitsstrafe wegen schweren Bandendiebstahls in vier Fällen und versuchten Diebstahls und im Jahr 2004 zu sechs Monaten Freiheitsstrafe wegen gemeinschaftlichen Diebstahls.
1.3 Mit Verfügung vom 13. September 2010 widerrief das Migrationsamt die Verlängerung der Aufenthaltsbewilligung von X._ und setzte ihm Frist bis 30. November 2010, um die Schweiz zu verlassen. Die Sicherheitsdirektion sowie das Verwaltungsgericht des Kantons Zürichs bestätigten am 1. Dezember 2011 bzw. 1. März 2012 diesen Entscheid.
1.4 X._ beantragt mit Eingabe vom 7. März 2012, das Urteil des Verwaltungsgerichts aufzuheben; seine Aufenthaltsbewilligung sei zu verlängern. Das Verwaltungsgericht des Kantons Zürich hat darauf verzichtet, sich vernehmen zu lassen. Die Sicherheitsdirektion des Kantons Zürich und das Bundesamt für Migration beantragen, die Beschwerde abzuweisen.
1.5 Mit Verfügung vom 13. März 2012 hat der Abteilungspräsident der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt.
2. Die Eingabe erweist sich als offensichtlich unbegründet und ist im vereinfachten Verfahren nach <ref-law> zu erledigen.
2.1 Die Aufenthaltsbewilligung kann widerrufen bzw. nicht verlängert werden, wenn eine ausländische Person oder ihr Vertreter im Bewilligungsverfahren falsche Angaben gemacht oder wesentliche Tatsachen verschwiegen hat (Art. 62 lit. a AuG [SR 142.20]) bzw. die ausländische Person zu einer längerfristigen Freiheitsstrafe verurteilt worden ist (Art. 62 lit. b AuG). Von einer solchen wird praxisgemäss bei einem Freiheitsentzug von mehr als einem Jahr ausgegangen (<ref-ruling> E. 4.2 und 4.5). Dabei sind auch im Ausland verhängte Strafen von Bedeutung (vgl. etwa die Urteile 2C_339/2012 vom 10. Juli 2012 E. 2.3.1; 2C_264/2011 vom 15. November 2011 E. 3.3; 2C_427/2008 vom 23. Januar 2009 E. 3.2; 2C_381/2008 vom 14. Januar 2009 E. 2.2; ferner <ref-ruling> E. 4.3.1 S. 29).
Soweit der Beschwerdeführer geltend macht, die Vorinstanzen hätten sein Verschulden überbewertet, verkennt er, dass der Ausgangspunkt und Massstab für die Schwere des Verschuldens und die fremdenpolizeiliche Interessenabwägung die vom Strafgericht verhängte Strafe bildet (vgl. Urteil 2C_295/2009 E. 5.3 nicht publ. in <ref-ruling>; <ref-ruling> E. 3.1 S. 216). Der Beschwerdeführer ist in Deutschland verschiedentlich verurteilt worden, darunter zu drei Jahren und acht Monaten Freiheitsstrafe wegen schweren Bandendiebstahls und versuchten Diebstahls. Er hat damit einen Widerrufsgrund gesetzt, den er den Behörden zudem verschwiegen hat (Urteil 2C_339/2012 vom 10. Juli 2012 E. 2.3.1; 2C_651/2009 vom 1. März 2010 E. 4.1 mit Hinweisen).
2.2 Die Nichtverlängerung seiner Bewilligung erweist sich auch als verhältnismässig (vgl. dazu <ref-ruling> E. 4.3 u. 4.5):
2.2.1 Zwar bringt der Beschwerdeführer vor, es sei seit den Verurteilungen in Deutschland geraume Zeit vergangen und er habe sich bisher in der Schweiz - abgesehen von einer Verurteilung im Jahr 2011 wegen Täuschung des Migrationsamts zu 60 Tagessätzen à Fr. 100.-- - nichts mehr zuschulden kommen lassen. Diese Vorbringen genügen jedoch nicht, um die Gefahr eines weiteren Rückfalls auszuschliessen und sein privates Interesse dem öffentlichen Interesse des Schutzes der Bevölkerung vor potenziell rückfallgefährdeten ausländischen Straftätern aus Drittstaaten vorgehen zu lassen:
Deutschland kennt eine mit der Schweiz vergleichbare Strafrechtsordnung und ahndet Vermögensdelikte ähnlich streng. Bandenmässiger Diebstahl wird in der Schweiz mit Freiheitsstrafe bis zu zehn Jahren oder Geldstrafe nicht unter 180 Tagessätzen bedroht (<ref-law>); in Deutschland unterliegt schwerer Bandendiebstahl (§ 244a des Strafgesetzbuches) einer Strafandrohung von Freiheitsstrafe von einem bis zu zehn Jahren. Der Beschwerdeführer ist zu einer längerfristigen Freiheitsstrafe verurteilt worden, wobei das mit der Tat befasste deutsche Strafgericht eine erhebliche kriminelle Energie feststellte. Trotz dieser Verurteilung beging er nur gerade zwei Jahre später erneut einen gemeinschaftlichen Diebstahl. Unter diesen Umständen besteht nach wie vor eine ernst zu nehmende Rückfallgefahr, steht doch bei ausländerrechtlichen Massnahmen das Interesse der öffentlichen Ordnung und Sicherheit im Vordergrund. Daraus ergibt sich ein strengerer Beurteilungsmassstab im Strafverfahren, wo auch therapeutische Überlegungen und solche der Resozialisation bedeutsam sind (vgl. <ref-ruling> E. 5.2.2 S. 236 f.).
Anlässlich seines Gesuchs um Erteilung der Aufenthaltsbewilligung im Jahr 2007 erklärte der Beschwerdeführer ausdrücklich, er sei weder in der Schweiz noch im Ausland vorbestraft. Zu diesem Zeitpunkt lag seine letzte strafrechtliche Verurteilung in Deutschland erst drei Jahre zurück. Er hat die Behörden über diese wesentliche Tatsache getäuscht. Da er in Deutschland wegen seines strafbaren Verhaltens ausgewiesen worden war, musste ihm bewusst gewesen sein, dass eine Verurteilung zu mehr als drei Jahren Freiheitsstrafe wegen schweren Bandendiebstahls in vier Fällen und versuchten Diebstahls auch für die schweizerischen Behörden relevant sein würde, zumal es sich dabei nicht um geringfügige Ordnungsbussen, sondern um Geld- und längere Freiheitsstrafen handelte. Sein täuschendes Verhalten war damit massgeblich für den migrationsrechtlichen Bewilligungsentscheid (vgl. E. 2.1; Urteil 2C_211/2012 3. August 2012 E. 3.1; 2C_656/2011 vom 8. Mai 2012 E. 2.1). Auch diese Tatsache ist im Rahmen der Interessenabwägung zu berücksichtigen; die Vorinstanz durfte insgesamt von einem gewichtigen öffentlichen Interesse an der Beendigung des Aufenthalts ausgehen.
2.2.2 Entgegen seinen Vorbringen kann auch nicht gesagt werden, dass die Bewilligung aufgrund "gewichtiger Eigeninteressen" des Beschwerdeführers zu verlängern wäre: Dieser ist erst mit 28 Jahren in die Schweiz gekommen und hat seine Beziehungen zu seiner Heimat aufrechterhalten, wo er nach eigenen Angaben ein Geschäft für Tiernahrung betreibt und sich ein- bis zweimal monatlich aufhält. Von diesen Einkünften lebt er; demgegenüber steht er in der Schweiz in keinem Arbeitsverhältnis. Wenn er sich in seinem Heimatstaat aufhält, wohnt er jeweils bei seinen Eltern; gemäss der Feststellung der Vorinstanz leben zudem zahlreiche weitere Verwandte in deren Nähe. Auch wenn der Beschwerdeführer geltend macht, in gesicherten finanziellen Verhältnissen zu leben und über einen wichtigen Freundeskreis in der Schweiz zu verfügen, dürfte ihm die Rückkehr und Integration in die dortigen Verhältnisse nicht allzu schwer fallen, steht ihm doch eine existenzsichernde Erwerbstätigkeit wie auch eine Unterkunft zur Verfügung.
2.2.3 Die Nichtverlängerung der Aufenthaltsbewilligung des Beschwerdeführers berührt die Beziehung zu seiner hier lebenden Ehegattin, was auch unter dem Blickwinkel von Art. 8 EMRK relevant sein kann. Seiner Schweizer Ehefrau dürfte eine Übersiedlung nach Bosnien und Herzegowina grundsätzlich nicht leicht fallen, doch übertrifft die gegen ihren Ehemann verhängte Strafe den vom Bundesgericht als Richtwert definierten Rahmen von zwei Jahren, ab dem keine Bewilligung mehr erteilt wird, selbst wenn dem Ehepartner die Ausreise unzumutbar oder nur schwer zumutbar erscheint ("Reneja"-Praxis; <ref-ruling> E. 4.4 S. 382; <ref-ruling> E. 4.1 S. 185). Entgegen den Ausführungen des Beschwerdeführers ist die Ausreise der Gattin auch nicht offensichtlich unzumutbar: Sie stammt ursprünglich aus Kroatien, wo sie bis zu ihrem 13. Lebensjahr gelebt hat. Gemäss den Feststellungen der Vorinstanz verbringt sie dort und in der Heimat ihres Gatten mehrmals jährlich Ferien- und Wochenendaufenthalte, ebenso wird in den beiden Ländern die nahezu identische Sprache gesprochen. Die Gattin des Beschwerdeführers ist demnach mit den sozio-kulturellen Gegebenheiten der Region und - infolge der regelmässigen Besuche - auch mit der Familie ihres Gatten vertraut. Aussergewöhnliche Umstände, welche die Erteilung einer Aufenthaltsbewilligung aufgrund der Unzumutbarkeit einer Ausreise von ihr dennoch zu rechtfertigen vermöchten, liegen nicht vor (vgl. <ref-ruling> E. 4.4 S. 382). Ihr steht es auch frei, in der Schweiz zu verbleiben und den Kontakt mit dem Beschwerdeführer im Rahmen von gegenseitigen Besuchen, Mitteln der Telekommunikation und Briefen aufrecht zu erhalten (Urteil 2C_679/2011 vom 21. Februar 2012 E. 3.4.3).
2.3 Zusammenfassend ergibt sich, dass der angefochtene Entscheid die bundesgerichtliche Praxis zutreffend wiedergibt und das Verwaltungsgericht die auf dem Spiele stehenden Interessen im Rahmen von Art. 62 lit. a und b AuG bzw. Art. 8 Ziff. 2 EMRK sorgfältig gegeneinander abgewogen hat (vgl. auch das Urteil des EGMR Boultif gegen Schweiz vom 2. August 2001, publ. in: VPB 2001 Nr. 138 S. 1392). Es kann für alles Weitere vollumfänglich auf seine Überlegungen verwiesen werden (<ref-law>).
3. Dem Verfahrensausgang entsprechend haben die unterliegenden Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (<ref-law>). Es sind keine Parteientschädigungen geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 5. September 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Hänni