Sachverhalt:
A.
A.a. Der 1964 geborene A._ war zuletzt seit 1. Oktober 2010 bis 5. September 2017 bei der B._ AG als Bauarbeiter angestellt. Sein letzter Arbeitstag war der 9. Juli 2015. Am 15. Juli 2015 wurde bei ihm im Spital C._ eine mikrochirurgische Dekompression der Bandscheibe L5/S1 links durchgeführt. Am 5. November 2015 meldete sich der Versicherte bei der IV-Stelle des Kantons Zürich zum Leistungsbezug an. Am 14. März und 14. September 2016 erfolgten weitere Rückenoperationen. Die IV-Stelle sprach dem Versicherten mit Verfügungen vom 27. Juni 2019 ab 1. Juli 2016 bis 30. September 2017 eine ganze und ab 1. Oktober 2017 bis 31. Dezember 2018 eine halbe Invalidenrente zu.
A.b. Die hiergegen von A._ erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich teilweise gut. Es änderte die Verfügungen dahingehend ab, dass es ihm vom 1. Juli 2016 bis 30. September 2017 eine ganze, vom 1. Oktober 2017 bis 31. Dezember 2018 eine Dreiviertels- und ab 1. Januar 2019 eine Viertelsrente zusprach (Urteil vom 8. Oktober 2020, Dispositiv Ziff. 1). Die dagegen vom Versicherten geführte Beschwerde hiess das Bundesgericht teilweise gut. Es hob Dispositiv Ziff. 1 des kantonalen Urteils insoweit auf, als sie den Anspruch auf eine Viertelsrente ab dem 1. Januar 2019 betraf. Es wies die Sache zu neuer Entscheidung an das kantonale Gericht zurück. Im Übrigen wies es die Beschwerde ab (Urteil 8C_761/2020 vom 29. April 2021).
B.
Mit Urteil vom 29. Juni 2021 bestätigte das kantonale Gericht Dispositiv Ziff. 1 seines Urteils vom 8. Oktober 2020.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, in teilweiser Aufhebung von Dispositiv Ziff. 1 des kantonalen Urteils sei ihm ab 1. Januar 2019 anstelle einer unbefristeten Viertelsrente eine unbefristete halbe Invalidenrente zuzusprechen.
Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2.
Streitig ist, ob die vorinstanzliche Zusprache einer Viertels- statt einer Dreiviertelsrente ab 1. Januar 2019 bundesrechtskonform ist.
2.1. Aufgrund des bundesgerichtlichen Rückweisungsurteils 8C_761/2020 vom 29. April 2021 (nachfolgend Rückweisungsurteil) steht fest, dass der Beschwerdeführer gestützt auf den Bericht des Dr. med. D._, Facharzt für Orthopädische Chirurgie und Traumatologie, Regionaler Ärztlicher Dienst (RAD) der IV-Stelle, vom 4. Oktober 2018 in leichten leidensangepassten Tätigkeiten zu 70 % bei ganztägiger Präsenz (um 30 % reduzierte Leistung wegen vermehrten Pausenbedarfs) arbeitsfähig ist (zur Verbindlichkeit von Rückweisungsurteilen des Bundesgerichts siehe <ref-ruling> E. 2; <ref-ruling> E. 2a; vgl. auch Urteil 8C_530/2019 vom 20. November 2019 E. 4).
2.2. Weiter ist gemäss dem Rückweisungsurteil das Invalideneinkommen ausgehend von der Tabelle TA1 der vom Bundesamt für Statistik herausgegebenen Schweizerischen Lohnstrukturerhebung (LSE) 2016, Zentralwert der monatlichen Bruttolöhne von Männern im Bereich "Total" des privaten Sektors, Kompetenzniveau 1 (einfache Tätigkeiten körperlicher oder handwerklicher Art), zu bemessen. Dieses Einkommen beträgt monatlich Fr. 5340.- bzw. umgerechnet auf die betriebsüblichen Wochenarbeitsstunden und auf das dem Beschwerdeführer zumutbare 70%ige Pensum jährlich Fr. 46'762.-.
3.
Laut dem Rückweisungsurteil hatte die Vorinstanz einzig zu beurteilen, ob von diesem LSE-Tabelleneinkommen von Fr. 46'762.- ein Leidensabzug nach <ref-ruling> vorzunehmen ist.
Mit dem Leidensabzug soll der Tatsache Rechnung getragen werden, dass persönliche und berufliche Merkmale, wie Art und Ausmass der Behinderung, Lebensalter, Dienstjahre, Nationalität oder Aufenthaltskategorie und Beschäftigungsgrad, Auswirkungen auf die Lohnhöhe haben können und je nach Ausprägung die versicherte Person deswegen die verbliebene Arbeitsfähigkeit auch auf einem ausgeglichenen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichem Erfolg verwerten kann. Der Abzug soll aber nicht automatisch erfolgen. Er ist unter Würdigung der Umstände im Einzelfall nach pflichtgemässem Ermessen gesamthaft zu schätzen und darf 25 % nicht übersteigen (<ref-ruling> E. 4.1 mit Hinweisen). Ob ein solcher Abzug vorzunehmen ist, ist eine vom Bundesgericht frei überprüfbare Rechtsfrage (<ref-ruling> E. 4.2; Urteil 8C_368/2021 vom 22. Juli 2021 E. 11.1).
4.
Die Vorinstanz kam zum Schluss, es bestünden keine Abzugsgründe.
4.1. Der Beschwerdeführer macht im Wesentlichen geltend, der ausgeglichene Arbeitsmarkt funktioniere bezüglich der Preis- bzw. Lohnfindung nach den üblichen ökonomischen Prinzipien der Märkte, wo die beste Leistung den besten Preis erziele und Leistungseinschränkungen zu Preisabstrichen führten. Dies entspreche im Wesentlichen auch der Praxis des Bundesgerichts, welche das Spiel der Marktkräfte bei der Lohnbestimmung lediglich insofern einschränke, als die Unterschreitung des Medianwerts auf 25 % beschränkt werde. Wenn die Vorinstanz ausführe, auf dem ausgeglichenen Arbeitsmarkt gebe es auch Nischenarbeitsplätze mit sozialem Entgegenkommen seitens der Arbeitgeber, betreffe dies die Verfügbarkeit von Arbeitsplätzen, aber nicht den erzielbaren Lohn.
4.2. Hiezu ist festzuhalten, dass der ausgeglichene Arbeitsmarkt ein theoretischer und abstrakter Begriff ist. Er berücksichtigt die konkrete Arbeitsmarktlage nicht, umfasst in wirtschaftlich schwierigen Zeiten auch tatsächlich nicht vorhandene Stellenangebote und sieht von den fehlenden oder verringerten Chancen Teilinvalider, eine zumutbare und geeignete Arbeitsstelle zu finden, ab (<ref-ruling> E. 4.2.1).
Der Vorinstanz ist beizupflichten, dass dieser ausgeglichene Arbeitsmarkt auch sog. Nischenarbeitsplätze umfasst, bei welchen behinderte Personen mit einem sozialen Entgegenkommen seitens des Arbeitgebers rechnen können. Dies betrifft aber die Frage der Verwertbarkeit der Resterwerbsfähigkeit auf dem Arbeitsmarkt (SVR 2012 IV Nr. 26, 8C_416/2020 E. 4; Urteil 8C_170/2021 23. September 2021 E. 5.1.1). Dass die Restarbeitsfähigkeit des Beschwerdeführers auf dem Arbeitsmarkt verwertbar ist, steht aufgrund des Rückweisungsurteils nicht in Frage und ist auch unbestritten.
Hieraus kann indessen betreffend die Frage der Gewährung eines leidensbedingten Abzugs oder dessen Höhe nichts abgeleitet werden, weil die Zusammensetzung des Arbeitsmarktes allgemein gilt und keinen persönlichen oder beruflichen Umstand darstellt, welcher im Einzelfall eine Herab- oder Nichtherabsetzung des Tabellenlohnes rechtfertigen würde (Urteil 8C_12/2017 vom 28. Februar 2017 E. 5.4).
5.
5.1. Gemäss dem Bericht des Dr. med. D._ vom 4. Oktober 2018 ist dem Beschwerdeführer eine leidensangepasste Tätigkeit vollschichtig zumutbar bei einem vermehrten Pausenbedarf im Umfang von 30 %. Die Vorinstanz hat richtig erkannt, dass unter dem Aspekt des Beschäftigungsgrades ein Abzug vom Tabellenlohn zu verneinen ist, wenn die versicherte Person in der Lage ist, eine wegen vermehrten Pausenbedarfs reduzierte Arbeitsleistung im Vollzeitpensum zu erbringen (Urteile 9C_283/2020 vom 17. August 2020 E. 7.2.2 und 8C_139/2020 vom 30. Juli 2020 E. 6.3.2, je mit Hinweisen).
5.2. Der Beschwerdeführer bringt vor, erhöhter Pausenbedarf alleine sei ausserordentlich und dürfte in vielen Arbeitsprozessen gar nicht umsetzbar sein, womit das Spektrum an angebotenen Tätigkeiten schrumpfe. Er werde den Arbeitgeber im Laufe der Bewerbung darüber informieren müssen, dass er einen Pausenbedarf von 30 % habe, womit seine Beeinträchtigungen für jeden sichtbar würden.
Es mag zutreffen, dass Arbeitskräfte mit reduzierter Leistungsfähigkeit die Infrastruktur des Arbeitgebers ineffizienter und damit kostenintensiver beanspruchen als Arbeitskräfte mit uneingeschränkter Leistungsfähigkeit. Es bestehen indessen keine ausreichenden Anhaltspunkte dafür, dass dieser Effekt nicht durch die Vorteile der ganztägigen Präsenz des Arbeitnehmers aufgewogen wird (vgl. Urteil 8C_211/2018 vom 8. Mai 2018 E. 4.4 mit Hinweisen). Gründe für eine Änderung der Praxis gemäss E. 5.1 hiervor sind nicht ersichtlich (hierzu vgl. <ref-ruling> E. 4.4).
5.3. Der Beschwerdeführer bringt weiter vor, Dr. med. D._ äussere sich im Bericht vom 4. Oktober 2018 lediglich über die Zumutbarkeit der Tätigkeit, die unter anderem auch einen vermehrten Pausenbedarf erfordere. Er spreche sich aber nicht darüber aus, ob beim vorhandenen Krankheitsbild belastungs- und wetterabhängige Dauerschmerzen in einem Ausmass vorlägen, welche die Arbeitsqualität und die Sozialkompetenzen (z. B. infolge Gereiztheit) beeinflussten, und ob ein Risiko für vermehrte Arbeitsausfälle bestehe. Diesbezüglich habe er vorinstanzlich die Durchführung einer Expertise verlangt, was die Vorinstanz zu Unrecht abgelehnt habe.
Dieser Einwand ist unbehelflich. Wie schon im Urteil 8C_761/2020 festgehalten (vgl. E. 5.2.3.1), stellte Dr. med. D._ im Bericht vom 4. Oktober 2018 nämlich einige Inkonsistenzen fest. Trotz Angabe stärkster Schmerzen habe der Beschwerdeführer die Einnahme von Targin (Opioid) abgesetzt. Von den angegebenen Schmerzmitteln (Ibuprofen und Paracetamol) werde nur das Ibuprofen in ausreichender Dosierung genommen. Im August 2017 habe der Beschwerdeführer eine lange Busreise nach Portugal unternehmen können, obwohl er starke Rückenschmerzen habe. Bei der Untersuchung habe er aktiv "gegen gespannt". Auch seien neu Schwielenbildungen prätibial registriert worden, was auf eine kniende Tätigkeit hinweise, obwohl der Beschwerdeführer seit 2015 nicht mehr arbeite. Die Beurteilung der Arbeitsfähigkeit sei unter Berücksichtigung dieser Angaben erstellt worden. Unter diesen Umständen bestehen mithin keine Anhaltspunkte dafür, dass die Arbeitsfähigkeit des Beschwerdeführers in einer leichten leidensangepassten Tätigkeit über das von Dr. med. D._ festgestellte Ausmass eingeschränkt ist. Da von weiteren medizinischen Abklärungen keine entscheidrelevanten Resultate zu erwarten waren, durfte die Vorinstanz davon absehen (antizipierte Beweiswürdigung; <ref-ruling> E. 6.5; Urteil 8C_377/2021 vom 9. September 2021 E. 4.5).
6.
6.1. Die Vorinstanz hat unter Berücksichtigung der Rechtsprechung (<ref-ruling> E. 7.2.1) zutreffend dargelegt, weshalb das Alter des Beschwerdeführers unter Berücksichtigung der konkreten Umstände keinen Abzug rechtfertigt. Dies gilt entgegen seiner Auffassung namentlich angesichts der bis zum ordentlichen Pensionsalter von 65 Jahren verbleibenden Zeitspanne von - auch noch im Zeitpunkt der Verfügungen vom 27. Juni 2019 - immerhin rund zehn Jahren (vgl. Urteil 8C_109/2021 vom 6. September 2021 E. 5.3.2; zur weiterhin offenen Frage nach dem massgeblichen Zeitpunkt für die Prüfung des altersbedingten Anspruchs auf einen Abzug vom Tabellenlohn vgl. <ref-ruling> E. 7.1). Weiter ist - der Vorinstanz folgend - zu berücksichtigen, dass sich ein fortgeschrittenes Alter nicht zwingend lohnsenkend auswirken muss. Hiervon abgesehen fällt die altersbedingte Erschwernis bei der Stellensuche als invaliditätsfremder Faktor regelmässig ausser Betracht (<ref-ruling> E. 7.2.1).
6.2. Der Beschwerdeführer macht geltend, dass die höheren Lohnkosten für die Arbeitgeberbeiträge der beruflichen Vorsorge nicht im LSE-Medianlohn berücksichtigt seien, und er diesen Nachteil nicht mit überdurchschnittlichen Ressourcen, Kompetenzen und/oder Leistungsfähigkeit kompensieren könne. Im Gegenteil könne er auf dem Markt nur unterdurchschnittliche Leistungen anbieten. Ein Arbeitgeber habe für den Beschwerdeführer im Vergleich zu einem jungen Anfänger allein für die BVG-Risiko- und Sparbeiträge mehr als 6 % höhere Kosten.
Der Umstand alleine, dass höhere Lohnnebenkosten anfallen und eine kürzere Aktivitätsdauer vorliegt, rechtfertigt einen Abzug infolge des Faktors "Alter" nicht, da dies für alle Arbeitnehmer gilt und nicht den speziellen Einzelfall berücksichtigt. Mangels zuverlässiger statistischer Grundlagen, welche die lohnwirksamen Nachteile des fortgeschrittenen Alters bei einem Stellenverlust aufzeigen, kann dies indessen nicht generell-abstrakt beurteilt werden (Urteil 8C_841/2017 vom 14. Mai 2018 E. 5.2.2.3).
6.3.
6.3.1. Die Vorinstanz erwog im Blick auf das Alter des Beschwerdeführers weiter, er sei bis zu seiner Anmeldung bei der IV-Stelle langjährig als Bauarbeiter tätig gewesen und bringe auch Erfahrung in weiteren Branchen (Service, Küche, Landwirtschaft) mit. Von seinen langjährigen und breiten Erfahrungen könne er auf dem ausgeglichenen Arbeitsmarkt profitieren, zumal er über ein sehr gutes Arbeitszeugnis seiner letzten Arbeitgeberin verfüge. Anhaltspunkte für eine Beeinträchtigung seiner Anpassungs- und Lernfähigkeit bestünden nicht. Auch angesichts der erfolgreichen Erwerbsbiographie bestünden keine Hinweise darauf, dass das Verhandlungsgeschick des Beschwerdeführers eingeschränkt und er bei der Stellensuche im Vergleich mit Mitbewerbern konkret beeinträchtigt wäre.
6.3.2. Hiergegen bringt der Beschwerdeführer ebenfalls keine stichhaltigen Einwände vor. Soweit er argumentiert, seine früheren Tätigkeiten im Service, in der Küche und in der Landwirtschaft lägen zu lange zurück und seien ihm gesundheitsbedingt auch nicht mehr zumutbar, ist dies unbehelflich. Denn dies ändert nichts daran, dass er gemäss nicht offensichtlich unrichtiger vorinstanzlicher Feststellung langjährige Berufserfahrungen hat, von denen er auf dem ausgeglichenen Arbeitsmarkt profitieren kann. Namentlich verfügt er aus den Jahren von 1983 bis 2000 und aus der Zeit seit Januar 2003 bis zu seinem letzten Arbeitstag am 9. Juli 2015 über eine langjährige Vertrautheit mit Arbeitsplätzen in der Schweiz. Dass sein Einkommen in der Schweiz vor Eintritt der Invalidität nicht branchenüblichen Ansätzen entsprochen hätte bzw. unterdurchschnittlich gewesen wäre, macht der Beschwerdeführer nicht geltend (vgl. auch <ref-ruling> E. 6.2.3 und E. 7.2.2). Es besteht auch jetzt kein Grund zur Annahme, dass er in einer leidensangepassten leichten Erwerbstätigkeit lohnmässig benachteiligt wäre (vgl. auch E. 7.2 hiernach).
6.4. Insgesamt ist die vorinstanzliche Verneinung eines altersbedingten Abzugs nicht bundesrechtswidrig.
7.
7.1. Der Beschwerdeführer wendet weiter ein, er spreche nach über 31 Jahren Erwerbstätigkeit in der Schweiz kein Deutsch, was auch im Kompetenzniveau 1 aussergewöhnlich sei. Dies beeinträchtige ihn gegenüber Mitbewerbern auf dem Markt, und zwar sowohl hinsichtlich der Kommunikation und Einsetzbarkeit im Betrieb als auch der Verhandlungsfähigkeit. Die IV-Stelle habe ihm mangels Sprachkenntnissen nicht einmal eine Arbeitsvermittlung anbieten können. Er sei für die Stellensuche auf einen selber bezahlten Dienstleister angewiesen gewesen. Analphabetismus gehe wesentlich weiter als mangelnde Sprach- und Schreibkenntnisse. Für Bürotätigkeiten und Überwachungsfunktionen komme er somit nicht in Frage.
7.2. Im Hinblick auf die dem Beschwerdeführer zumutbare Erwerbstätigkeit im untersten Kompetenzniveau 1 lässt sich ein Abzug vom Tabellenlohn infolge sprachlicher Schwierigkeiten bzw. Analphabetismus praxisgemäss nicht rechtfertigen (Urteile 8C_151/2020 vom 15. Juli 2020 E. 6.3.4 und 8C_328/2011 vom 7. Dezember 2011 E. 10.2). Auch aufgrund seiner langjährigen Arbeitstätigkeiten in der Schweiz ist nicht einzusehen, weshalb der Beschwerdeführer nicht in der Lage sein sollte, leichte körperliche Tätigkeiten auszuüben, die keine besonderen sprachlichen oder schulischen Kenntnisse erfordern (vgl. E. 6.3 hiervor; Urteil 8C_370/2020 vom 15. Oktober 2020 E. 11.2.2.1).
Soweit die Stellensuche des Beschwerdeführers aus sprachlichen Gründen erschwert ist, ist dies zum einen invaliditätsfremd und zum anderen im Rahmen der Abzugsfrage irrelevant.
8.
Nach dem Gesagten ist die vorinstanzliche Verneinung eines Tabellenlohnabzugs nicht bundesrechtswidrig, weshalb es beim Invalideneinkommen von Fr. 46'762.- bleibt (vgl. E. 2.2 hiervor). Aus dem Vergleich mit dem aufgrund des Rückweisungsurteils feststehenden Valideneinkommen von Fr. 84'459.- resultiert ein Invaliditätsgrad von gerundet 45 % (zur Rundung siehe <ref-ruling>) bzw. ab 1. Januar 2019 der Anspruch auf eine Viertelsrente. Dies führt zur Abweisung der Beschwerde.
9.
Der unterliegende Beschwerdeführer trägt die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. November 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Jancar