Faits:
A. A.a Depuis 1980, B._, né en 1959, exploite en raison individuelle une entreprise d'exploitation forestière et de compostage. Le 6 janvier 1995, il a été victime d'un accident: alors qu'il dévissait un boulon, il a reçu une clef dans son oeil gauche, ce qui a entraîné une déchirure choroïdienne du pôle postérieur et une incapacité de travail du 6 janvier au 9 février 1995.
Le 14 mars 1997, B._ a déposé une demande de prestations de l'assurance-invalidité que l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a rejetée par décision du 13 juillet 1998. Sur recours successifs de l'assuré (cf. jugement du Tribunal administratif du canton de Fribourg du 6 avril 2000), cette décision a été annulée le 28 mars 2001 par le Tribunal fédéral des assurances, qui a renvoyé la cause à l'office AI pour qu'il complète l'instruction, puis rende une nouvelle décision sur le droit de l'assuré à une aide au capital, le cas échéant sur la nature et les modalités d'une telle aide, puis, ceci fait, examine le droit éventuel à une rente d'invalidité.
A.b Reprenant l'instruction du cas, l'office AI s'est entretenu avec l'assuré et lui a demandé de produire des pièces comptables relatives à son entreprise. Après que B._ a retiré sa requête en vue d'une aide en capital, l'office AI l'a mis au bénéfice d'un quart de rente d'invalidité du 1er mars 1996 au 31 décembre 1998 (décision du 20 février 2004). Sur opposition de l'assuré, il a annulé ce prononcé le 12 mai 2005 et continué l'instruction de la cause. Le 12 avril 2006, l'office AI a reconnu le droit de B._ à un quart de rente d'invalidité, fondé sur un degré d'invalidité de 41%, à partir du 1er janvier 2001. L'assuré ayant contesté cette décision, l'administration l'a confirmée par décision sur opposition du 6 novembre 2008.
B. B._ a déféré cette décision à la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg, en concluant à l'octroi d'une demi-rente d'invalidité. En cours de procédure, il a indiqué avoir subi un accident de travail le 6 août 2006 qui avait laissé des séquelles le limitant dans son activité professionnelle et produit des certificats médicaux. Le 30 novembre 2010, la Cour des assurances sociales du Tribunal cantonal fribourgeois a demandé à l'assuré de lui faire parvenir les bilans de l'entreprise relatifs aux exercices 1988 à 1991 et de se prononcer sur la nature de prélèvements privés opérés sur le bénéfice de l'exploitation de l'entreprise depuis 1992. Par courrier du 13 décembre 2010, B._ a indiqué ne plus disposer des bilans d'entreprise des années 1988 et 1989, voire 1990. Statuant le 21 décembre 2010, la juridiction cantonale a débouté l'assuré.
C. B._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement à l'octroi d'une demi-rente d'invalidité et, subsidiairement, au renvoi de la cause à l'autorité cantonale de recours pour instruction complémentaire sur l'aggravation de son état de santé à la suite de "l'accident de 2006".
La Cour des assurances sociales du Tribunal cantonal fribourgeois s'est déterminée sur sa composition dans cette affaire. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales n'a pas déposé d'observations.

Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération (cf. art. 97 al. 2 LTF).
2. Sur le plan formel tout d'abord, le recourant semble vouloir mettre en cause - en intitulant un grief "Récusation de Monsieur C._", sans toutefois en tirer des conclusions précises - l'impartialité du Juge C._, qui a présidé la Cour des assurances sociales du Tribunal cantonal fribourgeois ayant rendu le jugement entrepris.
Toutefois, aucun élément objectif - les impressions subjectives d'une partie ne devant pas être prises en compte (cf. sur les conditions de la récusation: <ref-ruling> consid. 3.1 p. 210 et la jurisprudence citée) - ne permet d'accréditer la thèse d'une prévention à l'égard du recourant. Le fait que le Président suppléant a requis des pièces comptables relatives aux exercices de 1988 à 1991 à la fin du mois de novembre 2010 et averti le recourant de l'éventualité d'une modification à son détriment de la décision administrative ne corrobore pas le reproche de partialité. La possibilité dont disposent les tribunaux cantonaux des assurances de réformer la décision administrative au détriment de l'assuré, qui suppose que celui-ci en soit averti au préalable et que lui soit donnée la possibilité de retirer son recours, est prévue par la loi (art. 61 let. d deuxième et troisième phrase LPGA). Contrairement à ce que prétend le recourant, le magistrat en cause n'était par ailleurs pas en charge du dossier "depuis plus de dix ans", puisque la Cour cantonale des assurances sociales a été saisie une première fois du 11 août 1998 au 6 avril 2000, puis la seconde fois du 4 décembre 2008 au 21 décembre 2010. On ne saurait donc lui reprocher, comme semble le faire le recourant, d'avoir tardé à rendre la mesure d'instruction mentionnée (ce qui ne relèverait du reste pas du grief de partialité).
Par ailleurs, l'argument selon lequel à la page 6 du jugement entrepris le Président suppléant "insinue manifestement que le recourant agit de manière douteuse car il aurait procédé à des versements inexpliqués, il y a plus de dix-sept ans déjà..." ne peut être suivi. Dans son arrêt, la juridiction cantonale a relevé qu'en l'absence de précisions du recourant quant à la nature de prélèvements privés ressortant des documents comptables, on ne pouvait exclure que ceux-ci constituaient un revenu effectif sur lequel il y aurait lieu de se fonder. Ces constatations, qui ne sont pas manifestement inexactes puisque le recourant n'a effectivement donné aucune explication sur la nature des prélèvements en question en instance cantonale (cf. courrier du 13 décembre 2010), alors qu'il y avait expressément été invité (cf. courrier du 30 novembre 2010), ne comportent, quoi qu'il en dise, aucune insinuation relative à un éventuel comportement "douteux" de sa part. Le grief de partialité, mal fondé, doit donc être rejeté.
3. Invoquant ensuite un vice de procédure, le recourant se réfère à la déclaration d'un second accident (survenu le 6 août 2006) effectuée en procédure de recours cantonale et reproche aux premiers juges d'avoir "en lieu et place de l'Office AI, sans instruction du dossier, class[é] cette demande d'AI sans autre forme de procès".
3.1 Le recours devant le tribunal cantonal des assurances est une voie de droit ordinaire possédant un effet dévolutif: un recours présenté dans les formes requises a pour effet de transférer à la juridiction cantonale la compétence de statuer sur la situation juridique objet de la décision attaquée. L'administration perd la maîtrise de l'objet du litige, en particulier celle des points de fait susceptibles de fonder la décision attaquée. Conformément à la maxime inquisitoire applicable, il appartient à l'autorité de recours d'établir d'office les faits déterminants pour la solution du litige et d'administrer les preuves nécessaires. Si l'état de fait doit être complété, elle est libre de procéder elle-même aux mesures d'instruction nécessaires ou d'annuler la décision attaquée et de renvoyer le dossier à l'administration pour qu'elle s'en charge. Après le dépôt d'un recours, il n'est en principe plus permis à l'administration d'ordonner de nouvelles mesures d'instruction qui concerneraient l'objet du litige et tendraient à une éventuelle modification de la décision attaquée (<ref-ruling> consid. 2b/aa p. 231 et les références).
3.2 En l'espèce, le rapport juridique réglé par la décision sur opposition du 6 novembre 2008 est l'octroi d'un quart de rente d'invalidité à partir du 1er janvier 2001. En procédure cantonale de recours, l'assuré a fait valoir qu'il avait été victime d'un second accident le 6 août 2006 et présentait des séquelles le limitant dans ses activités professionnelles; il a ainsi invoqué des faits antérieurs à la décision litigieuse en instance cantonale, survenus pendant la période correspondant au cadre temporel de l'examen judiciaire. L'effet dévolutif du recours faisait dès lors obstacle à l'examen par l'office AI des faits nouveaux allégués. Par conséquent, c'est en vain que le recourant se plaint de la violation des règles de la procédure administrative en ce que l'intimé n'a pas rendu de décision administrative sur le "nouveau sinistre".
3.3 En tant que le recourant ferait ensuite grief à la juridiction cantonale de n'avoir pas ordonné de mesures d'instruction sur les répercussions de l'accident du 6 août 2006, son motif est également mal fondé.
3.3.1 Selon le principe inquisitoire qui régit la procédure dans le domaine des assurances sociales (art. 43 al. 1 et 61 let. c LPGA), le juge constate les faits d'office, avec la collaboration des parties et administre les preuves nécessaires (cf. <ref-ruling> consid. 2 p. 195). La portée du principe inquisitoire est cependant restreinte par le devoir des parties de collaborer à l'instruction de l'affaire. Celui-ci comprend en particulier l'obligation des parties d'apporter, dans la mesure où cela peut être raisonnablement exigé d'elles, les preuves commandées par la nature du litige et des faits invoqués, faute de quoi elles risquent de devoir supporter les conséquences de l'absence de preuves (<ref-ruling> consid. 2 p. 195 et les références).
Par ailleurs, le juge peut considérer qu'un fait est prouvé et renoncer à de plus amples mesures d'instruction lorsqu'au terme d'un examen objectif, il ne conçoit plus de doutes sérieux sur l'existence de ce fait (cf. <ref-ruling> consid. 3.2 p. 324; SVR 2007 IV no 31 p. 111 [I 455/06], consid. 4.1). Si de tels doutes subsistent, il lui appartient de compléter l'instruction de la cause, pour autant que l'on puisse attendre un résultat probant des mesures d'instruction entrant raisonnablement en considération. Le cas échéant, il peut renoncer à l'administration d'une preuve s'il acquiert la conviction, au terme d'une appréciation anticipée des preuves, qu'une telle mesure ne pourrait l'amener à modifier son opinion (<ref-ruling> consid. 2.1 p. 429; <ref-ruling> consid. 6c/cc in fine p. 135).
3.3.2 Les premiers juges ont considéré que l'aggravation de l'état de santé invoquée par le recourant, qui s'était limité à alléguer la survenance d'un accident en 2006 en procédure de recours cantonale, ne pouvait pas être retenue (au degré de la vraisemblance prépondérante), dès lors qu'elle n'avait été étayée par aucune pièce médicale probante au dossier. Les certificats attestant d'une incapacité de travail pour une période limitée dans le temps fournis par l'assuré ne permettaient pas de retenir l'existence d'une diminution de sa capacité de travail ou de rendement pour une période suffisamment longue pour être déterminante.
En se contentant d'affirmer avoir déclaré le second accident en procédure cantonale, le recourant ne fait valoir aucun élément susceptible de démontrer que les constatations de la juridiction cantonale sur l'absence d'aggravation de son état de santé seraient manifestement inexactes ou que l'appréciation (anticipée) des preuves à laquelle elle a procédé serait arbitraire. Au regard, en particulier, du devoir de collaborer des parties, le résultat de cette appréciation qui conduit à faire supporter au recourant les conséquences de l'absence de preuves quant aux répercussions de l'événement accidentel qu'il a invoqué la première fois plus de deux ans après sa survenance alléguée, n'est pas contraire au droit. Il n'y a dès lors pas lieu de s'en écarter.
4. Sur le fond, compte tenu des conclusions du recours (consid. 1 supra), le litige porte sur le droit du recourant à une demi-rente d'invalidité au lieu du quart de rente alloué par l'intimé à partir du 1er janvier 2001.
4.1 Chez les assurés actifs, le degré d'invalidité doit être déterminé sur la base d'une comparaison des revenus. Pour cela, le revenu que l'assuré aurait pu obtenir s'il n'était pas invalide est comparé avec celui qu'il pourrait obtenir en exerçant l'activité qui peut raisonnablement être exigée de lui après les traitements et les mesures de réadaptation, sur un marché du travail équilibré (jusqu'au 31 décembre 2003: art. 28 al. 2 LAI; du 1er janvier 2004 au 31 décembre 2007: art. 28 al. 2 LAI en corrélation avec l'art. 16 LPGA; depuis le 1er janvier 2008: art. 28a al. 1 LAI en corrélation avec l'art. 16 LPGA). La comparaison des revenus s'effectue, en règle générale, en chiffrant aussi exactement que possible les montants de ces deux revenus et en les confrontant l'un avec l'autre, la différence permettant de calculer le taux d'invalidité. Dans la mesure où ces revenus ne peuvent être chiffrés exactement, ils doivent être estimés d'après les éléments connus dans le cas particulier, après quoi l'on compare entre elles les valeurs approximatives ainsi obtenues. Lorsqu'on procède à une évaluation, celle-ci ne doit pas nécessairement consister à chiffrer des valeurs approximatives; une comparaison de valeurs exprimées simplement en pour-cent peut aussi suffire. Le revenu hypothétique réalisable sans invalidité équivaut alors à 100 %, tandis que le revenu d'invalide est estimé à un pourcentage plus bas, la différence en pour-cent entre les deux valeurs exprimant le taux d'invalidité (comparaison en pour-cent; <ref-ruling> consid. 3a et les références).
4.2 Si l'on ne peut déterminer ou évaluer sûrement les deux revenus en cause, il faut, en s'inspirant de la méthode spécifique pour personnes sans activité lucrative (jusqu'au 31 décembre 2003: art. 28 al. 3 LAI en corrélation avec l'art. 27 RAI; du 1er janvier 2004 au 31 décembre 2007: art. 28 al. 2bis LAI en corrélation avec les art. 27 RAI et 8 al. 3 LPGA; depuis le 1er janvier 2008: art. 28a al. 2 LAI en corrélation avec les art. 27 RAI et 8 al. 3 LPGA), procéder à une comparaison des activités et évaluer le degré d'invalidité d'après l'incidence de la capacité de rendement amoindrie sur la situation économique concrète (procédure extraordinaire d'évaluation de l'invalidité). La différence fondamentale entre la procédure extraordinaire d'évaluation et la méthode spécifique réside dans le fait que l'invalidité n'est pas évaluée directement sur la base d'une comparaison des activités; on commence par déterminer, au moyen de cette comparaison, quel est l'empêchement provoqué par la maladie ou l'infirmité, après quoi l'on apprécie séparément les effets de cet empêchement sur la capacité de gain. Une certaine diminution de la capacité de rendement fonctionnelle peut certes, dans le cas d'une personne active, entraîner une perte de gain de la même importance, mais n'a pas nécessairement cette conséquence. Si l'on voulait, dans le cas des personnes actives, se fonder exclusivement sur le résultat de la comparaison des activités, on violerait le principe légal selon lequel l'invalidité, pour cette catégorie d'assurés, doit être déterminée d'après l'incapacité de gain (<ref-ruling> consid. 1 p. 30 et les références).
4.3 Chez une personne de condition indépendante, la comparaison des résultats d'exploitation réalisés dans son entreprise avant et après la survenance de l'invalidité ne permet de tirer des conclusions valables sur la diminution de la capacité de gain due à l'invalidité que dans le cas où l'on peut exclure au degré de vraisemblance prépondérante que les résultats de l'exploitation aient été influencés par des facteurs étrangers à l'invalidité. En effet, les résultats d'exploitation d'une entreprise dépendent souvent de nombreux paramètres difficiles à apprécier, tels que la situation conjoncturelle, la concurrence, l'aide ponctuelle des membres de la famille, des personnes intéressées dans l'entreprise ou des collaborateurs. Généralement, les documents comptables ne permettent pas, en pareils cas, de distinguer la part du revenu qu'il faut attribuer à ces facteurs - étrangers à l'invalidité - et celle qui revient à la propre prestation de travail de l'assuré (arrêts I 83/97 du 16 octobre 1997 consid. 2c, in VSI 1998 p. 121, et I 432/97 du 30 mars 1998 consid. 4a, in VSI 1998 p. 255).
5. 5.1 En ce qui concerne l'évaluation de l'invalidité, la juridiction cantonale a retenu que la méthode appliquée par l'intimé, à savoir la comparaison entre la moyenne des gains réalisés de 1990 à 1994 et le revenu que pouvait gagner un salarié dans une activité de conciergerie ou de maintenance (salaire d'invalide fondé sur les données de l'Enquête suisse sur la structure des salaires [ESS]), était doublement favorable au recourant. D'une part, en se fondant sur le revenu annuel moyen statistique correspondant à une activité de conciergerie ou de maintenance, l'office AI avait fait abstraction du parcours professionnel du recourant, qui, à la tête d'une entreprise forestière depuis plus de trente ans, disposait de toutes les compétences d'un entrepreneur. Selon les premiers juges, en raison de l'expérience que le recourant avait dans ce domaine, on aurait pu exiger de lui, en exécution de son obligation de diminuer le dommage, qu'il exerçât une activité salariée plus qualifiée que les postes pris en compte par l'administration, ce qui aurait conduit à retenir un salaire d'invalide supérieur au revenu fixé et, partant, à un taux d'invalidité inférieur à 40%.
D'autre part, la méthode appliquée par l'intimé avait pour effet que les revenus effectivement perçus par le recourant après la survenance de l'atteinte à sa santé n'étaient pas pris en considération. A cet égard, il ressortait de l'analyse des pièces comptables produites par le recourant que des prélèvements privés avaient été systématiquement opérés sur le compte de capital de l'entreprise depuis au moins 1992. Faute de précisions de la part de l'intéressé sur la nature de ces prélèvements privés, on ne pouvait exclure, aux yeux des premiers juges, qu'ils correspondaient à un revenu effectif réalisé par le recourant sur lequel il y aurait eu lieu de se fonder pour évaluer le degré d'invalidité. Les montants de ces prélèvements n'avaient par ailleurs pas baissé de manière sensible et définitive après 1995 et excédaient tous et parfois très nettement le revenu d'invalide fixé par l'intimé. Aussi, la juridiction cantonale est-elle arrivée à la conclusion que le quart de rente alloué en raison du degré d'invalidité de 41% retenu par l'office AI n'était pas contraire au droit, même si la suppression de cette prestation aurait aussi pu entrer en ligne de compte.
5.2 Le point de savoir selon quelle méthode le degré d'invalidité d'un assuré doit être évalué est une question de droit sur laquelle le Tribunal fédéral se prononce librement.
5.2.1 En l'espèce, ni la méthode appliquée par l'intimé, ni celle évoquée par la juridiction cantonale pour confirmer l'évaluation de l'administration, qui relèvent toutes deux de la méthode générale de la comparaison des revenus, ne peuvent être suivie.
En premier lieu, les prélèvements privés que la juridiction cantonale a assimilés au revenu d'invalide du recourant, inscrits du point de vue comptable dans les fonds propres de l'entreprise, ont été opérés sur les comptes de l'entreprise. Rien ne permet de retenir que ces montants correspondent (exclusivement) à la prestation personnelle de travail du recourant et ne comprennent pas également une part qu'il faut attribuer à des facteurs étrangers, comme l'activité des employés de l'entreprise.
Quant à l'intimé, il s'est référé à un revenu d'invalide correspondant à l'activité qu'exercerait un employé de maintenance ou de conciergerie (résultant des données ESS), sans se prononcer au préalable sur l'exigibilité d'un changement de profession de la part de l'assuré. Il lui incombait à cet égard, au lieu d'admettre un changement professionnel du recourant sans aucune explication, d'examiner au regard de l'ensemble des circonstances objectives et subjectives du cas concret si une telle mesure pouvait être exigée de lui. Parmi d'autres circonstances, il lui appartenait d'examiner si l'activité exercée par le recourant au sein de son entreprise après la survenance de l'atteinte à la santé mettait pleinement en valeur sa capacité de travail résiduelle. Ce n'est que si tel n'est pas le cas que l'assuré de condition indépendante peut être tenu, en fonction des circonstances, de mettre fin à son activité indépendante au profit d'une activité salariée plus lucrative (cf. arrêt 8C_748/2008 du 10 juin 2009 consid. 4.2). Un tel examen fait défaut tant dans la décision administrative litigieuse que dans le jugement entrepris, dans lequel l'autorité cantonale de recours a simplement retenu, sans aucune analyse des circonstances (dont les effets concrets de l'atteinte oculaire sur la capacité de travail du recourant) l'exigibilité de l'exercice d'une activité salariée.
5.2.2 Pour autant, contrairement à ce que voudrait le recourant, la comparaison des résultats d'exploitation réalisés dans son entreprise avant et après la survenance de l'atteinte à la santé - qu'il n'a du reste pas effectuée concrètement - ne permet pas de tirer des conclusions valables sur la diminution éventuelle de la capacité de gain due à son atteinte à la santé. Comme l'ont retenu à juste titre les premiers juges, on ne peut exclure au degré de la vraisemblance prépondérante que les résultats de l'exploitation aient été influencés par des facteurs étrangers à l'invalidité, de sorte que l'incapacité de gain de l'assuré ne saurait se confondre avec la diminution alléguée du bénéfice d'exploitation de son entreprise (consid. 4.3 supra).
En l'occurrence, seule la procédure extraordinaire d'évaluation de l'invalidité est de nature à permettre, dans le cas particulier, une évaluation conforme au droit fédéral des effets de l'atteinte à la santé sur la capacité de gain de l'assuré. Il convient dès lors d'annuler le jugement attaqué, ainsi que la décision litigieuse et de renvoyer la cause à l'administration pour qu'elle applique la méthode extraordinaire d'évaluation de l'invalidité. Le recours est partant bien fondé.
6. 6.1 Vu l'issue du litige, les frais de justice doivent être supportés par l'intimé qui succombe (art. 66 al. 1 en corrélation avec l'art. 65 al. 4 let. a LTF). Celui-ci versera également au recourant une indemnité de dépens pour l'ensemble de la procédure (art. 68 al. 1 et 5 LTF).
6.2 Selon l'art. 67 LTF, si le Tribunal fédéral modifie la décision attaquée, il peut répartir autrement les frais de la procédure antérieure. En l'occurrence, il se justifie par souci d'économie de procédure de mettre les frais de la procédure cantonale à la charge de l'intimé.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement du Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, du 21 décembre 2010 et la décision de l'Office de l'assurance-invalidité du canton de Fribourg du 6 novembre 2008 sont annulés. La cause est renvoyée à cet office pour qu'il statue à nouveau en procédant conformément aux considérants.
2. Les frais judiciaires, arrêtés à 500 fr. pour la dernière instance et à 800 fr. pour la procédure antérieure, sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 4000 fr. à titre de dépens pour l'ensemble de la procédure.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 14 octobre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless