Faits: A. Par jugement du 3 avril 2009, le Tribunal pénal économique a reconnu X._ coupable de gestion déloyale qualifiée, de gestion fautive et d'infractions commises comme complice et comme auteur principal à la loi fédérale sur l'impôt fédéral direct et à la loi fribourgeoise sur les impôts cantonaux directs. Il l'a en revanche acquitté des chefs d'accusation de faux dans les titres, d'obtention frauduleuse d'une constatation fausse, de gestion déloyale et de complicité de tentative d'escroquerie. X._ a été condamné à une peine privative de liberté de sept mois avec sursis pendant un délai d'épreuve de deux ans, sous déduction de la détention préventive subie pendant huit jours. B. Le 16 juillet 2009, X._ a demandé à l'Etat de Fribourg le paiement d'une indemnité de 41'551 fr. 60. Ce montant comprenait un tort moral de 1'600 fr. pour la détention préventive injustifiée et de 5'000 fr. pour les autres actes de procédure ainsi que le remboursement de ses frais d'avocat, à hauteur de 34'951 fr. 60. Par arrêt du 1er décembre 2010, la Chambre pénale du Tribunal cantonal fribourgeois a entièrement rejeté la demande. C. X._ forme un recours en matière pénale. Il conclut à la réforme de l'arrêt attaqué en ce sens que le canton de Fribourg lui verse 34'951 fr. 60 au titre de frais d'avocat encourus dans la procédure pénale.