Faits: A. A.a P._ exerce à titre indépendant l'activité d'éleveur et de marchand de chevaux. Le 26 février 2001, il a déposé une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité du canton de Neuchâtel (ci-après: l'office AI) a chargé le docteur M._, spécialiste FMH en chirurgie orthopédique, d'une expertise. Selon ce médecin, l'assuré, qui souffrait notamment d'une ostéochondromatose de l'épaule droite, présentait une baisse de la capacité de travail de 30 à 40 % dans son métier; dans une activité adaptée, après une période éventuelle de mise au courant, la capacité de travail pouvait être de 100 %, mais un reclassement professionnel était difficilement envisageable chez un patient extrêmement indépendant de caractère et ne disposant d'aucune formation (rapport du 12 juin 2003). Par décision du 29 août 2003, confirmée sur opposition le 24 août 2004, l'office AI a rejeté la demande. A.b Saisi à nouveau de la cause à la suite de l'admission du recours interjeté par P._ contre la décision du 24 août 2004 (jugement du Tribunal administratif du canton de Neuchâtel du 3 avril 2006), l'office AI a procédé à des mesures d'instruction complémentaires, dont la mise en oeuvre d'une enquête économique (rapport du 6 novembre 2006). Il a par ailleurs confié une expertise psychiatrique au docteur E._, psychiatre et psychothérapeute, qui n'a retenu aucun diagnostic psychiatrique, ni, partant, d'incapacité de travail pour des motifs psychiatriques (rapport du 7 juin 2007). Le 16 décembre 2008, l'office AI a alloué à l'intéressé une demi-rente d'invalidité du 1er février 2000 (en raison d'une demande tardive) au 31 décembre 2003. En bref, il a considéré que P._ présentait un taux d'invalidité de 56 % depuis le 17 novembre 1998, mais qu'on pouvait exiger de lui qu'il remît son exploitation d'élevage de chevaux à compter du 1er janvier 2004 et mît à profit sa capacité de travail (de 100 %) dans une activité adaptée depuis cette date, de sorte qu'il ne subissait alors plus d'incapacité de gain. B. Statuant le 20 août 2009 sur le recours formé par l'assuré, le Tribunal administratif neuchâtelois, Cour des assurances sociales, l'a rejeté. C. P._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant, en substance, à l'octroi d'une demi-rente d'invalidité au-delà du 31 décembre 2003 ("sans limitation dans le temps"). Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.