Faits:
A. Par jugement du 19 août 2011, le Tribunal correctionnel du canton de Genève a reconnu X._ coupable de brigandage aggravé, de dommages à la propriété et de violation de domicile et l'a condamné à une peine privative de liberté d'ensemble de 3 ans et 6 mois, comprenant la révocation d'un sursis portant sur une peine de 90 jours-amende.
B. Par arrêt du 14 décembre 2011, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a rejeté l'appel interjeté par X._. Elle a, en revanche, admis l'appel du Ministère public et réformé le jugement en ce sens que X._ a été condamné à une peine privative de liberté d'ensemble de 4 ans.
En bref, il ressort les éléments suivants de cet arrêt.
Le 27 février 2009, X._ s'est rendu, avec cinq comparses, de Marseille à Genève afin de commettre des cambriolages dans cette ville. Le 28 février 2009 en début de soirée, après des repérages effectués dans la journée, les six comparses ont pénétré, par une fenêtre brisée par l'un d'eux, dans la villa des époux A._. Deux employées de maison, ainsi que la mère de Mme A._ s'y trouvaient. Elles ont été neutralisées et les deux employées ont été traînées dans diverses pièces de la maison par les cheveux, menacées d'une arme à feu apportée par l'un des protagonistes et frappées à plusieurs reprises, notamment au moyen de la crosse de l'arme, pour qu'elles indiquent la combinaison du coffre. Comme elles ne la connaissaient pas, les protagonistes ont descellé le coffre pour l'emmener avec eux. Ils ont toutefois été interrompus par la venue d'un agent de sécurité prévenu par l'alarme silencieuse que l'une des employées avait pu enclencher avant d'être neutralisée. Cinq des protagonistes, dont X._, ont pu prendre la fuite alors que l'un d'eux a été interpellé par l'agent de sécurité. Un briquet en or a été dérobé. Il n'a pas pu être établi que l'arme à feu était chargée au moment des faits.
Le casier judiciaire suisse de X._ fait état d'une condamnation, le 20 novembre 2008, pour vol, violation de domicile et entrée illégale en Suisse à 90 jours-amende. Sur le casier judiciaire allemand, figure, notamment, une condamnation du 14 août 2003, pour 13 cambriolages et 11 tentatives de cambriolage, à 3 ans et 6 mois de peine privative de liberté.
La cour cantonale s'est en particulier fondée sur le casier judiciaire allemand, inconnu de l'autorité de première instance, pour justifier de l'aggravation de la peine.
C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut, principalement, à sa réforme en ce sens qu'il est condamné à une peine privative de liberté d'ensemble de 3 ans et 6 mois et, subsidiairement, à l'annulation de la décision et au renvoi du dossier à l'autorité précédente pour nouveau jugement. Il sollicite par ailleurs l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant invoque une violation de l'article 47 CP. Il prétend que la cour cantonale ne pouvait pas augmenter sa peine de six mois en raison de la condamnation figurant à son casier judiciaire allemand, dès lors qu'elle ignorait une série d'éléments, notamment la date des infractions reprochées, la gravité des faits, les circonstances dans lesquelles ils ont été commis, si la peine avait été prononcée avec sursis ou non, l'effet de celle-ci sur le recourant et sa situation personnelle au moment des faits. Il invoque également l'écoulement du temps depuis cette condamnation et allègue que l'autorité de première instance avait déjà tenu compte de ses antécédents suisses, ce qui avait déjà alourdi sa peine.
1.1 Les règles générales régissant la fixation de la peine ont été rappelées dans l'arrêt publié aux <ref-ruling> (consid. 2.1 et les références citées). Il suffit d'y renvoyer en soulignant que le juge dispose d'un large pouvoir d'appréciation et que le Tribunal fédéral, qui examine l'ensemble de la question d'office (<ref-law>), n'intervient que lorsque l'autorité cantonale a fait un usage vraiment insoutenable de la marge de manoeuvre que lui accorde le droit fédéral, s'il a fixé une peine en dehors du cadre légal, s'il s'est fondé sur des critères étrangers à l'<ref-law> ou si des éléments d'appréciation importants n'ont pas été pris en compte. L'exercice de ce contrôle suppose que le juge exprime, dans sa décision, les éléments essentiels relatifs à l'acte ou à l'auteur qu'il prend en compte, de manière à ce que l'on puisse constater que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens aggravant ou atténuant (<ref-law>). Il peut passer sous silence les éléments qui, sans abus du pouvoir d'appréciation, lui apparaissent non pertinents ou d'une importance mineure. La motivation doit cependant justifier la peine prononcée, en permettant de suivre le raisonnement adopté même si le juge n'est pas tenu d'exprimer en chiffres ou en pourcentages l'importance qu'il accorde à chacun des éléments qu'il cite (<ref-ruling> consid. 2c p. 104 s.).
1.2 Bien que la récidive ne constitue plus un motif d'aggravation obligatoire de la peine (art. 67 aCP), les antécédents continuent de jouer un rôle très important dans la fixation de celle-ci (HANS WIPRÄCHTIGER, in Basler Kommentar, Strafrecht I, 2e éd. 2007, no 100 ad <ref-law>). En général, la culpabilité de l'auteur est amplifiée du fait qu'il n'a pas tenu compte de l'avertissement constitué par la précédente condamnation, et sa rechute témoigne d'une énergie criminelle accrue (cf. QUELOZ/HUMBERT, in Commentaire romand, Code pénal I, no 55 ad <ref-law>; contra : STRATENWERTH, Schweizerisches Strafrecht, Allgemeiner Teil II : Strafen und Massnahmen, 2e éd., 2006, § 6 no 44 ; TRECHSEL ET AL., Schweizerisches Strafgesetzbuch, Praxiskommentar, no 31 ad <ref-law>). Il en va de même des antécédents étrangers (<ref-ruling> consid. 2 p. 226 s.). Une série d'infractions semblables pèse plus lourd que des actes de nature différente. En outre, les condamnations passées perdent de leur importance avec l'écoulement du temps. Les condamnations qui ont été éliminées du casier judiciaire ne peuvent plus être utilisées pour l'appréciation de la peine ou l'octroi du sursis dans le cadre d'une nouvelle procédure pénale (<ref-ruling> consid. 2 p. 89 ss). Les antécédents judiciaires ne sauraient toutefois conduire à une augmentation massive de la peine, parce que cela reviendrait à condamner une deuxième fois pour des actes déjà jugés (<ref-ruling> consid. 3b p. 145).
1.3 Au moment de fixer la peine, l'autorité précédente a retenu, à charge du recourant et de ses cinq comparses, qu'ils étaient venus à six depuis le sud de la France pour commettre des cambriolages à Genève, s'étaient munis d'une arme à feu, étaient entrés par effraction dans une villa, avaient menacé les employées de maison avec l'arme, les avaient frappées et traînées d'une pièce à l'autre par les cheveux. Ils avaient repéré la maison et agi de manière décidée, organisée et violente. Les victimes avaient eu peur pour leur vie et subi un traumatisme de ce fait. Ces actes étaient d'une gravité certaine et la faute des prévenus était lourde. Ils avaient agi par pur appât du gain. La collaboration à l'enquête avait été partielle et ils avaient eu tendance à minimiser les faits et rejeter sur leurs comparses la responsabilité des actes les plus graves. La prise de conscience du caractère répréhensible des actes était limitée. Il y avait concours au sens de l'article 49 CP. S'agissant du recourant, la cour cantonale a tenu compte de ses antécédents suisses et allemands. Elle a relevé qu'il avait été condamné pour de nombreux cambriolages à 3 ans et 6 mois de peine privative de liberté en Allemagne.
1.4 En prétendant que la cour cantonale ignorait si la peine allemande avait été prononcée avec ou sans sursis, le recourant s'écarte de manière irrecevable des faits constatés par l'autorité précédente qui lient le Tribunal fédéral (<ref-law>). En effet, cette autorité a exposé que le recourant avait été condamné à une peine privative de liberté, l'absence de mention du sursis signifiant que cette peine était ferme. L'argument est ainsi irrecevable.
Contrairement à ce que soutient le recourant, les circonstances dans lesquelles les infractions à l'origine de sa condamnation en Allemagne ou sa situation personnelle de l'époque ne sont ici pas déterminantes. La cour cantonale pouvait ainsi se fonder sur le seul énoncé du casier judiciaire allemand attestant de la commission d'infractions d'une gravité non négligeable. C'est aussi en vain que le recourant soutient que la cour cantonale aurait ignoré les effets de la peine allemande sur sa personnalité. On ne peut que constater que ces effets ont été minimes dès lors qu'il a récidivé pour le même genre d'infractions. Cela ne constituait manifestement pas une circonstance à décharge.
Une condamnation à une peine privative de liberté de 3 ans et 6 mois prononcée en août 2003 en Allemagne pour 13 cambriolages et 11 tentatives de cambriolage ne peut être considérée comme d'importance si minime que l'écoulement du temps (en l'espèce moins de 5 ans et demi entre les deux condamnations) aurait suffi à lui faire perdre toute importance dans la fixation de la peine. L'identité du type d'infractions et l'importance de la peine suffisent amplement à démontrer la pertinence de ces antécédents. Que les juges de première instance aient déjà tenu compte d'autres antécédents relativement à une condamnation prononcée en Suisse le 20 novembre 2008 n'impliquait pas de renoncer à prendre en compte les antécédents allemands. Des antécédents supplémentaires pour des infractions de même type, commises en série, sanctionnées par plusieurs années de privation de liberté, justifiaient une aggravation de la peine.
1.5 Le recourant ne cite, en définitive, aucun élément important, propre à modifier la peine, qui aurait été omis ou pris en considération à tort par la cour cantonale. Au vu des circonstances, il n'apparaît pas que la peine infligée, qui entre, par ailleurs, dans les premiers degrés de l'échelle des sanctions envisageables pour un brigandage qualifié (<ref-law> en corrélation avec l'<ref-law>), soit exagérément sévère au point de constituer un abus du pouvoir d'appréciation.
2. Le recours doit ainsi être rejeté dans la mesure où il est recevable. Il était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 5 juillet 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet