Faits:
A. K._ a été victime d'un accident sur un chantier, le 2 mars 2007, alors qu'il effectuait son premier jour de travail en qualité de manoeuvre. Cet événement a entraîné une fracture de la vertèbre L1 et de l'apophyse transverse gauche ainsi qu'une fracture des 9ème et 10ème côtes gauches. La Caisse nationale suisse d'assurance en cas d'accidents (CNA) a pris le cas en charge.
Le 4 mars 2008, K._ s'est annoncé à l'assurance-invalidité. L'instruction de la demande, basée notamment sur le dossier de la CNA, a permis d'établir que l'assuré conservait une capacité de travail entière dans une activité adaptée à son état de santé somatique, à la condition que cette activité réponde aux conclusions du rapport de la Clinique X._ du 1er février 2008 (cf. rapport d'examen final du docteur C._, médecin d'arrondissement de la CNA, du 12 juin 2009, p. 3). En outre, aucune affection d'ordre psychique susceptible de réduire la capacité de travail n'a été diagnostiquée (rapport du docteur O._, du SMR, du 3 septembre 2008, p. 3 et 4). Par décision du 11 août 2009, l'Office de l'assurance-invalidité du canton de Fribourg a nié le droit de l'assuré à une rente d'invalidité après avoir fixé la perte de gain à 7 % (comparaison d'un revenu sans invalidité de 58'502 fr. avec un gain d'invalide de 54'129 fr., ce dernier ayant été établi selon l'Enquête suisse sur la structure des salaires 2006, table TA1, niveau 4).
B. K._ a déféré cette décision à la Cour des assurances sociales du Tribunal cantonal de l'Etat de Fribourg, en concluant préalablement à la mise en oeuvre d'une expertise, principalement à l'octroi d'une pleine rente d'invalidité, subsidiairement à une rente partielle.
Par jugement du 22 décembre 2011, la juridiction cantonale a rejeté le recours.
C. K._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant à titre principal au versement d'une pleine rente d'invalidité, subsidiairement d'une rente partielle, très subsidiairement au renvoi de la cause au tribunal cantonal.
L'office intimé et l'Office fédéral des assurances sociales n'ont pas été invités à se déterminer.

Considérant en droit:
1. Le litige porte sur le taux d'invalidité du recourant.
La juridiction cantonale a exposé correctement les règles applicables à la solution du litige, si bien qu'il suffit de renvoyer au jugement attaqué.
2. 2.1 En premier lieu, le recourant fait grief au tribunal cantonal d'avoir établi son revenu sans invalidité de manière erronée. Dans la mesure où il ne dispose d'aucune formation professionnelle, il soutient que l'intimé n'était pas en droit de considérer qu'il exerçait l'activité de manoeuvre de chantier avant l'accident du 2 mars 2007 et que celle-ci lui procurait un revenu annuel de personne valide de 58'502 fr.
Ce grief, qui n'avait pas été soulevé en procédure cantonale, est dirigé à l'encontre d'un constat de fait. Dépourvu de toute substance, il se situe à la limite de la recevabilité (art. 42 al. 2 LTF). De toute manière, ce moyen n'est pas de nature à remettre en cause le revenu sans invalidité, dès lors qu'une formation professionnelle n'est pas requise pour travailler en qualité de manoeuvre de chantier. Le recourant n'indique du reste même pas le revenu sans invalidité qui devrait être pris en compte.
2.2 En ce qui concerne le revenu d'invalide, le recourant reproche à la juridiction cantonale de n'avoir appliqué qu'un facteur d'abattement de 10 % sur le revenu établi à partir des statistiques salariales (cf. <ref-ruling>, 126 V 75), au lieu des 20 % qu'il avait revendiqués.
Ce grief est inopérant, car même si un abattement de 20 % avait été pris en compte (voire le taux maximum de 25 % admis par la jurisprudence), le degré d'invalidité n'atteindrait pas le seuil de 40 % ouvrant droit à la rente.
De surcroît, dans ce contexte, on rappellera que le point de savoir si un coefficient de réduction doit ou non être appliqué au revenu d'invalide, lorsque ce dernier a été établi sur la base de statistiques de l'Enquête suisse sur la structure des salaires, constitue une question de droit que le Tribunal fédéral peut revoir librement. L'étendue de l'abattement (justifié dans un cas concret), qui constitue une question typique relevant du pouvoir d'appréciation, échappe au pouvoir d'examen du Tribunal fédéral (art. 95 et 97 LTF). Demeure réservé le cas où le recourant fait grief à la juridiction de recours de première instance d'avoir exercé son pouvoir d'appréciation de manière abusive, donc contraire au droit, par un excès positif (Ermessensüberschreitung) ou négatif (Ermessensunterschreitung) de ce pouvoir (arrêt 9C_146/2010 du 30 août 2010 consid. 5; arrêt 9C_235/2008 du 12 février 2009 consid. 3.1, in SVR 2009 IV n° 43 p. 128). Dans le cas d'espèce, le recourant échoue à démontrer que les juges cantonaux auraient violé le droit fédéral (art. 95 LTF) ou commis un abus ou un excès (positif ou négatif) de leur pouvoir d'appréciation en confirmant l'abattement de 10 % dont l'intimé avait tenu compte; il oppose simplement sa propre appréciation, ce qui ne lui est d'aucun secours.
3. Le recourant se plaint ensuite d'une violation du principe inquisitoire, au motif qu'une expertise psychiatrique n'a pas été mise en oeuvre, ce qui aurait faussé l'appréciation des preuves.
Ce grief n'est pas non plus de nature à remettre en cause le bien-fondé du jugement attaqué. En effet, les premiers juges ont dûment exposé les motifs qui les ont conduits à admettre que le volet psychiatrique du dossier était suffisamment instruit. A cet égard, ils ont rappelé que les facteurs psychosociaux et socioculturels (<ref-ruling> consid. 5a p. 299) mis en évidence ne constituaient pas des atteintes à la santé entraînant une incapacité de gain au sens de l'art. 4 LAI (consid. 4b du jugement attaqué).
4. En dernier lieu, le recourant se prévaut d'une violation du principe de célérité, dans la mesure où l'intimé aurait tardé à statuer sur la demande de prestations dont il était saisi. Il en déduit que la décision querellée devrait être annulée pour ce motif.
A l'instar des précédents, ce grief est infondé. D'une part, à supposer qu'il soit avéré, un retard ne saurait justifier l'annulation de la décision, mais uniquement aboutir à la constatation de la violation du principe de célérité (arrêt H 134/02 du 30 janvier 2003 consid. 1.5). D'autre part, l'administration a rendu sa décision 17 mois après l'introduction de la demande, soit dans un délai raisonnable, au terme d'une instruction complète du cas.
5. Le recourant, qui succombe, supportera les frais de la procédure (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal de l'Etat de Fribourg, Chambre des assurances, et à l'Office fédéral des assurances sociales.
Lucerne, le 12 juillet 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Berthoud