Sachverhalt:
A.
A.a. Der 1964 geborene A._ war seit 1. März 2002 Bauarbeiter bei der Firma B._ & Co. Am 17. Januar 2005 erlitt er bei einem Unfall einen offenen Unterschenkelbruch. Am 28. Juli 2006 meldete er sich bei der IV-Stelle Zug zum Leistungsbezug an. Am 20. Februar 2008 zeigte er ihr an, er werde von Rechtsanwalt C._ vertreten. Am 22. August 2008 stellte die IV-Stelle dem Versicherten vorbescheidweise die Abweisung seines Leistungsbegehrens in Aussicht. Diesen Vorbescheid sandte sie uneingeschrieben nur dem Versicherten an seine Adresse in U._. Er wurde der IV-Stelle von der Post mit dem Vermerk "weggezogen" retourniert. Am 4. September 2008 schickte die IV-Stelle den Vorbescheid uneingeschrieben an die Wohnadresse des Versicherten in Portugal. Gleiches tat sie mit ihrer diesen Vorbescheid bestätigenden Verfügung vom 21. Oktober 2008.
A.b. Am 3. Februar 2016 ersuchte der nunmehr durch Rechtsanwalt Deecke vertretene Versicherte die IV-Stelle Zug, die ihm zustehende Rente zu berechnen und auszurichten. Er berief sich auf die Verfügung der Schweizerischen Unfallversicherungsanstalt (Suva) vom 13. Januar 2016, womit diese ihm ab 1. Juli 2007 eine Invalidenrente bei einem Invaliditätsgrad von 53 % zugesprochen hatte. Am 9. Februar 2016 überwies die IV-Stelle Zug die Akten der IV-Stelle für Versicherte im Ausland (IVSTA). Mit Schreiben an Rechtsanwalt Deecke vom 10. März 2016 vertrat die IVSTA die Auffassung, das frühere Gesuch sei mit in Rechtskraft erwachsener Verfügung vom 21. Oktober 2008 abgewiesen worden. Er müsse ein neues Gesuch einreichen. Am 6. Januar 2017 erkundigte sich der Versicherte bei der IVSTA nach dem Verfahrensstand und verlangte Akteneinsicht. Diese schickte ihm am 16. Januar 2017 die Akten zu. Am 26. Januar 2017 stellte der Versicherte bei der IV-Stelle Zug das Gesuch um Wiedererwägung ihrer Verfügung vom 21. Oktober 2008. Sie überwies dieses Gesuch am 7. Februar 2017 der IVSTA.
B.
B.a. Mit Beschwerde beim Bundesverwaltungsgericht vom 20. Februar 2017 beantragte der Versicherte, die Verfügung der IV-Stelle Zug vom 21. Oktober 2008 sei aufzuheben und es seien ihm die Leistungen nach Gesetz, insbesondere eine Rente, auszurichten (Verfahren C-1106/2017). Am 27. März 2017 sistierte die Vorinstanz das Verfahren bis zum Entscheid der IVSTA über das Wiedererwägungsgesuch des Versicherten vom 26. Januar 2017. Am 10. Januar 2019 stellte die IVSTA der Vorinstanz ihre Verfügung vom 4. Januar 2019 zu, womit sie dem Versicherten ab 1. Februar 2017 eine halbe Invalidenrente zusprach. Am 16. Januar 2019 hob die Vorinstanz die Verfahrenssistierung auf.
B.b. Mit Beschwerde vom 13. Februar 2019 beantragte der Versicherte beim Bundesverwaltungsgericht die Ausrichtung einer halben Invalidenrente ab 17. Januar 2006 (Verfahren C-757/2019). Zudem verlangte er die Vereinigung dieses Verfahrens mit dem Verfahren C-1106/2017, was die Vorinstanz am 18. Februar 2019 tat. Mit Verfügung vom 5. Juni 2019 forderte sie die IVSTA auf, den Zustellnachweis für die Verfügung der IV-Stelle Zug vom 21. Oktober 2008 und den dazugehörigen Vorbescheid vorzulegen. Am 1. Juli 2019 teilte die IVSTA mit, der Zustellnachweis könne nicht erbracht werden. Mit Entscheid vom 23. September 2019 hiess das Bundesverwaltungsgericht die Beschwerde - soweit es sie nicht als gegenstandslos abschrieb - insoweit gut, als es die Verfügung der IVSTA vom 4. Januar 2019 hinsichtlich des Zeitpunkts des Rentenbeginns aufhob und feststellte, der Versicherte habe ab 1. Februar 2011 Anspruch auf eine halbe Invalidenrente. Im Übrigen wies es die Beschwerde ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Versicherte, in Aufhebung des Entscheides des Bundesverwaltungsgerichts vom 23. September 2019 sei ihm ab 1. Januar 2006 eine halbe Invalidenrente zuzusprechen.
Die IV-Stelle schliesst auf Beschwerdeabweisung. Das Bundesamt für Sozialversicherungen verzichtet auf Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2.
Die Vorinstanz legte richtig dar, dass der betroffenen Person aus einer mangelhaften Eröffnung einer Verfügung kein Nachteil erwachsen darf (<ref-law>; <ref-ruling> E. 1.3 S. 232, 134 V 306 E. 4.2 S. 312). Beizupflichten ist ihr auch, dass der Anspruch auf ausstehende Leistungen oder Beiträge fünf Jahre nach dem Ende des Monats, für welchen die Leistung, und fünf Jahre nach dem Ende des Kalenderjahres, für welches der Beitrag geschuldet war, erlischt (<ref-law>; vgl. auch <ref-ruling> E. 3.1 S. 246 f.). Die Frist gemäss <ref-law> wird durch eine rechtzeitige Anmeldung im Sinne von <ref-law> gewahrt (<ref-ruling> E. 4.3.1 S. 583 f.). Zutreffend wiedergegeben hat die Vorinstanz auch die Rechtsprechung, wonach die Nachzahlung von Leistungen, auch wenn die Verwaltung fehlerhaft einem bereits früher hinreichend substanziierten Leistungsbegehren nicht entsprochen hat, einer absoluten Verwirkungsfrist von fünf Jahren unterliegt, welche rückwärts ab dem Zeitpunkt der Neuanmeldung berechnet wird (<ref-ruling>). Darauf wird verwiesen.
3.
Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie den Rentenbeginn auf den 1. Februar 2011 und nicht schon auf den 1. Januar 2006 festsetzte.
Das Bundesverwaltungsgericht erwog im Wesentlichen, der Versicherte habe den rentenablehnenden Vorbescheid vom 22. August 2008 und die ihn bestätigende Verfügung der IV-Stelle Zug vom 21. Oktober 2008 nie erhalten bzw. seien nie in seinen Machtbereich gelangt. Auch die Mitteilung der IVSTA vom 10. März 2016, sein früher eingereichtes Gesuch sei mit dieser in Rechtskraft erwachsenen Verfügung abgewiesen worden, sei weder dem Versicherten noch seinem Rechtsvertreter zugegangen. Die Verfügung der IV-Stelle Zug vom 21. Oktober 2008 habe somiterst mit der Akteneinsicht des Versicherten vom 23. Januar 2017 Wirksamkeit erlangen können. Folglich habe er mit der Beschwerde vom 20. Februar 2017 die 30-tägige Beschwerdefrist (Art. 60 i.V.m. <ref-law>) gewahrt, weshalb darauf einzutreten sei. Da die Verfügung der IV-Stelle Zug vom 21. Oktober 2008 nie in Rechtskraft erwachsen sei, sei nach wie vor über die Leistungsanmeldung des Versicherten vom 28. Juli 2006 zu befinden. Somit handle es sich bei der diese Verfügung ersetzenden Verfügung der IVSTA vom 4. Januar 2019 um eine Wiedererwägung lite pendente (<ref-law> bzw. <ref-law>). Nach seinem Akteneinsichtsgesuch vom 20. Februar 2008 habe sich der Versicherte erst wieder am 3. Februar 2016 bei der IV-Stelle Zug gemeldet, nachdem das unfallversicherungsrechtliche Verfahren mit der Suva-Verfügung vom 13. Januar 2016 abgeschlossen worden sei. Er berufe sich auf Vertrauensschutz, da er davon habe ausgehen dürfen, dass die IV-Stelle Zug bis zu dieser Suva-Verfügung keine Verfügung erlassen habe bzw. das IV-Verfahren stillgestanden sei. Diese Auffassung gehe fehl, da es an der Voraussetzung einer vorbehaltlosen Auskunft der IV-Stelle Zug mangele. Den im Rahmen der Akteneinsichtsgewährung vom 27. Februar 2008 vorhandenen IV-Akten könne höchstens entnommen werden, die IV-Stelle Zug habe vor ihrer Verfügung offenbar den Suva-Entscheid abwarten wollen. Dies genüge aber nicht für die Bejahung des Vertrauensschutzes, da diese Notizen nicht an den Versicherten gerichtet gewesen seien. Er hätte sich vielmehr bei der IV-Stelle Zug vergewissern müssen, dass sie mit ihrer Verfügung bis zum Abschluss des unfallversicherungsrechtlichen Verfahrens zuwarten würde. Dies gelte umso mehr, als für die IV ein einfaches und rasches Verfahren vorgesehen sei. Zwischen dem Akteneinsichtsgesuch vom 20. Februar 2008 und dem Rentengesuch vom 3. Februar 2016 fehle es jedoch an einer fristwahrenden Handlung des Versicherten gegenüber der IV-Stelle Zug, die als unmissverständliches Beharren auf der Rente bzw. als Neuanmeldung interpretiert werden könnte. Da die rückwirkende Leistungsausrichtung der Verwirkungsfrist nach <ref-law> unterstehe, seien alle Ansprüche des Versicherten, die mehr als fünf Jahre vor dem Gesuch vom 3. Februar 2016 entstanden seien, verwirkt. Somit habe er ab 1. Februar 2011 Anspruch auf eine halbe Invalidenrente.
4.
4.1.
4.1.1. Unbestritten ist die vorinstanzliche Feststellung, die rentenverneinende Verfügung vom 21. Oktober 2008 sei nie in Rechtskraft erwachsen, weshalb nach wie vor über die Leistungsanmeldung des Beschwerdeführers vom 28. Juli 2006 zu befinden sei. Entgegen der Vorinstanz kann somit sein Gesuch vom 3. Februar 2016 um Berechnung und Ausrichtung der Rente nicht im Sinne von <ref-ruling> als Neuanmeldung angesehen werden mit der Folge der Verwirkung von Rentenleistungen, die mehr als fünf Jahre davor entstanden sind (vgl. E. 3 hiervor). Vielmehr ist der Sichtweise des Beschwerdeführers beizupflichten, dass das von ihm am 28. Juli 2006 angehobene ursprüngliche Verwaltungsverfahren im Zeitpunkt seines Gesuchs vom 3. Februar 2016 nicht rechtswirksam abgeschlossen, sondern bis zur lite pendente erlassenen Rentenverfügung der IVSTA vom 4. Januar 2019 im Gange war. Somit hat er - wie er zu Recht geltend macht - mit der Leistungsanmeldung vom 28. Juli 2006 die fünfjährige Verwirkungsfrist nach <ref-law> gewahrt (<ref-ruling> E. 4.3.1 S. 583 f.; UELI KIESER, ATSG-Kommentar, 3. Aufl. 2015, N. 30 f. zu <ref-law>).
4.1.2. Nichts zu Ungunsten des Beschwerdeführers folgt entgegen der Vorinstanz aus der Tatsache, dass er sich seit dem Akteneinsichtsgesuch vom 20. Februar 2008 bis zum Rentenbegehren vom 3. Februar 2016 bei der IV-Stelle Zug nicht gemeldet hat. Dieser Umstand wäre relevant, wenn zu prüfen wäre, ob die mangelhaft eröffnete rentenverneinende Verfügung der IV-Stelle Zug vom 21. Oktober 2008 rechtsbeständig wurde, weil es der Versicherte unterlassen hat, sich bei ihr innert vernünftiger Frist nach dem Verfahrensstand zu erkundigen (vgl. <ref-ruling> E. 4c S. 150; Urteil 9C_656/2012 vom 22. Mai 2013 E. 5). Diese Frage stellt sich hier aber nicht, weil das Bundesverwaltungsgericht letztlich selber davon ausgeht, diese Verfügung sei nie in Rechtskraft erwachsen (vgl. E. 3 hiervor).
4.2. Der Anspruch des Beschwerdeführers auf eine halbe Invalidenrente ist nicht strittig.
Nach der im Zeitpunkt seiner Anmeldung zum Leitungsbezug vom 28. Juli 2006 gültig gewesenen (altrechtlichen) Fassung des <ref-law> (ersetzt im Rahmen der 5. IV-Revision auf den 1. Januar 2008) begann der Rentenanspruch noch ohne die inzwischen eingeführte Wartezeit nach Geltendmachung des Anspruchs (vgl. <ref-law>; siehe auch Urteil 9C_730/2012 vom 4. Juni 2013 E. 4.2). Der vom Beschwerdeführer bei Ausserachtlassung der Verwirkungsfrist nach <ref-law> (vgl. E. 4.1.1 hiervor) beantragte Rentenbeginn ab 1. Januar 2006 ist unbestritten und nicht zu beanstanden.
5.
Die unterliegende Beschwerdegegnerin trägt die Verfahrenskosten (Art. 66 Abs. 1, Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Bundesverwaltungsgerichts, Abteilung III, vom 23. September 2019 und die Verfügung der IV-Stelle für Versicherte im Ausland vom 4. Januar 2019 werden aufgehoben. Es wird festgestellt, dass der Beschwerdeführer ab 1. Januar 2006 Anspruch auf eine halbe Invalidenrente hat.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten des vorangegangenen Verfahrens an das Bundesverwaltungsgericht, Abteilung III, zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Bundesverwaltungsgericht, Abteilung III, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. Februar 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Jancar