Faits : A. A.a. A._ a été victime d'un accident professionnel le 10 avril 1987, alors qu'il travaillait en qualité d'aide-maçon au service de la société B._ SA. Il a subi une entorse du genou droit en tombant d'une échelle. La Caisse nationale suisse d'assurance en cas d'accidents (CNA) a pris en charge le cas. L'assuré a subi des arthroscopies à cinq reprises (en 1987, 2003, 2004, 2005 et 2009) et il a séjourné à la Clinique C._ du 16 novembre au 1 er décembre 2005. Le 1 er décembre 2005, l'intéressé a présenté une demande tendant à l'octroi de prestations de l'assurance-invalidité. Il indiquait des douleurs aux genoux droit et gauche en raison de chutes survenues en 1987 et 1999, ainsi que des lombalgies apparues en 1991. L'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a mis en oeuvre un stage d'orientation professionnelle au Centre D._, du 5 novembre 2007 au 10 février 2008. En outre, il a confié une expertise bidisciplinaire aux docteurs E._, spécialiste en rhumatologie et médecine interne (rapport du 17 mars 2011) et F._, spécialiste en psychiatrie et psychothérapie (du 16 mars 2011). Par projet d'acceptation de rente du 5 octobre 2011, l'office AI a informé l'assuré de son intention de lui allouer, pour les périodes du 1 er juillet 2006 au 30 novembre 2007 et du 1 er mai au 31 juillet 2009, un quart de rente d'invalidité fondé sur des taux de 41 %, respectivement 40 %. Saisi d'une opposition, il a confirmé ce projet par décision du 14 novembre 2012. A.b. De son côté, la CNA a alloué à l'assuré, à partir du 1 er septembre 2012, une rente d'invalidité fondée sur un taux d'incapacité de gain de 35 % et une indemnité pour atteinte à l'intégrité fondée sur un taux de 20 % (décision sur opposition du 2 mai 2013). Cette décision a été déférée à la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg, laquelle a rejeté le recours par jugement du 29 septembre 2014. Saisi d'un recours en matière de droit public contre ce jugement, le Tribunal fédéral a statué par arrêt dont la date est identique à celle du présent arrêt (cause 8C_799/2014). B. Par jugement du 29 septembre 2014, la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg a admis partiellement le recours formé par l'assuré contre la décision de l'office AI du 14 novembre 2012 en ce sens qu'elle a reconnu le droit de l'assuré à une rente entière d'invalidité pour la période du 1 er août au 31 octobre 2009 en lieu et place d'un quart de rente alloué du 1 er mai au 31 juillet 2009. C. A._ forme un recours en matière de droit public en demandant l'annulation du jugement cantonal et de la décision du 14 novembre 2012 et le renvoi de la cause à l'intimé pour complément d'instruction sous la forme d'une expertise rhumatologique. Subsidiairement, il conclut à l'octroi d'un quart de rente d'invalidité pour la période du 1 er juillet 2006 au 31 (recte: 30) avril 2009, excepté durant la période du 1 er décembre 2007 au 31 janvier 2008, ainsi qu'à l'allocation d'une rente entière du 1 er août au 31 octobre 2009 et d'un quart de rente à partir du 1 er novembre suivant, le tout sous suite de frais et dépens.