Faits: Faits: A. D._ a travaillé comme ouvrier agricole en Valais jusqu'au mois de novembre 1997, date à laquelle il a interrompu son activité en raison de douleurs à la colonne vertébrale. Après avoir essuyé plusieurs refus de la part de l'Office cantonal AI du Valais, le prénommé a requis à nouveau des prestations le 16 décembre 2003. L'Office AI valaisan a recueilli différents avis médicaux, dont il ressortait que D._ souffrait notamment de lombalgies chroniques (status après hémilaminectomie L4-L5 et L5-S1 gauche pour hernie discale en date du 14 novembre 1997) ainsi que d'un état dépressif sévère progressif depuis 2002, et disposait d'une capacité résiduelle de travail de 50% dans toute activité. Le 8 mars 2005, l'Office AI valaisan a rendu une décision par laquelle il a rejeté la demande de prestations. Il a considéré en bref que le taux d'invalidité de 35% qui résultait de la comparaison entre un revenu sans invalidité de 40'040 fr. en 2004 et un revenu d'invalide de 26'221 fr., compte tenu d'une capacité résiduelle de travail de 50%, n'ouvrait pas le droit à une rente. L'assuré s'est opposé à cette décision, en indiquant notamment qu'il avait travaillé du 1er mai 2004 au mois de février 2005 en qualité d'aide de maison dans une pizzeria. Par décision sur opposition du 14 juillet 2005, l'Office AI pour les assurés résidant à l'étranger - auquel le dossier a été transmis à la suite du retour de D._ en Serbie, son pays d'origine - a rejeté l'opposition. Le 8 mars 2005, l'Office AI valaisan a rendu une décision par laquelle il a rejeté la demande de prestations. Il a considéré en bref que le taux d'invalidité de 35% qui résultait de la comparaison entre un revenu sans invalidité de 40'040 fr. en 2004 et un revenu d'invalide de 26'221 fr., compte tenu d'une capacité résiduelle de travail de 50%, n'ouvrait pas le droit à une rente. L'assuré s'est opposé à cette décision, en indiquant notamment qu'il avait travaillé du 1er mai 2004 au mois de février 2005 en qualité d'aide de maison dans une pizzeria. Par décision sur opposition du 14 juillet 2005, l'Office AI pour les assurés résidant à l'étranger - auquel le dossier a été transmis à la suite du retour de D._ en Serbie, son pays d'origine - a rejeté l'opposition. B. D._ a déféré cette décision à la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (aujourd'hui, Tribunal administratif fédéral). Après avoir été informée du décès de l'assuré, le 4 mai 2006, la Commission fédérale a admis le recours, annulé la décision du 14 juillet 2005 et reconnu à D._ le droit à une demi-rente d'invalidité à partir du 1er juillet 2004 (jugement du 14 septembre 2006). B. D._ a déféré cette décision à la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (aujourd'hui, Tribunal administratif fédéral). Après avoir été informée du décès de l'assuré, le 4 mai 2006, la Commission fédérale a admis le recours, annulé la décision du 14 juillet 2005 et reconnu à D._ le droit à une demi-rente d'invalidité à partir du 1er juillet 2004 (jugement du 14 septembre 2006). C. L'Office AI pour les assurés résidant à l'étranger a interjeté un recours de droit administratif contre ce jugement, dont il a demandé l'annulation en concluant à la confirmation de sa décision sur opposition. Les héritiers de feu D._ ont conclu au rejet du recours, tandis que l'Office fédéral des assurances sociales (OFAS) a renoncé à se déterminer.