Sachverhalt:
A.
A.a. Der 1965 geborene A._ arbeitete seit September 2003 als Taxifahrer. Am 16. Mai 2009 verletzte er sich bei einer Auffahrkollision. Ab Januar 2010 war er wieder teilzeitlich Taxifahrer. Im April 2011 gründete er den Betrieb B._ und arbeitete selbstständig als Taxifahrer. Mit Verfügung vom 1. September 2011 verneinte die IV-Stelle des Kantons Zürich einen Rentenanspruch.
A.b. Am 30. Dezember 2011 verunfallte der Versicherte mit dem Taxi und zog sich eine Talusluxationsfraktur Hawkins III am linken Fuss zu; deswegen wurde er mehrmals operiert. Am 10. September 2013 meldete er sich sich erneut bei der IV-Stelle zum Leistungsbezug an. Mit Verfügung vom 26. Juni 2014 sprach diese ihm für die Monate März bis Mai 2014 eine ganze Invalidenrente zu, was das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Januar 2016 bestätigte.
A.c. Am 21. März 2016 wurde der Versicherte erneut am linken Fuss operiert. Die IV-Stelle holte nach Meldung einer Verschlechterung im September 2015 u.a. ein bidisziplinäres Gutachten des Orthopäden Dr. med. C._ und des Psychiaters Dr. med. D._ vom 7. Juli 2017 mit Ergänzung des Dr. med. C._ vom 24. August 2017 ein. Mit Verfügung vom 10. April 2018 sprach sie dem Versicherten vom 1. Juni 2016 bis 30. April 2017 eine ganze Invalidenrente und vom 1. Mai 2017 bis 30. September 2017 eine Viertelsrente zu.
B.
Hiergegen erhob der Versicherte beim Sozialversicherungsgericht des Kantons Zürich Beschwerde. Dieses wies ihn am 19. November 2019 auf eine mögliche Schlechterstellung hin und gab ihm Gelegenheit, hierzu Stellung zu nehmen und die Beschwerde gegebenenfalls zurückzuziehen. Am 6. Dezember 2019 hielt der Versicherte an der Beschwerde fest. Mit Entscheid vom 27. Dezember 2019 hob die Vorinstanz die Verfügung der IV-Stelle vom 10. April 2018 auf und stellte fest, der Versicherte habe vom 1. Juni 2016 bis 31. Dezember 2016 Anspruch auf eine befristete ganze Invalidenrente.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Versicherte, in Aufhebung des kantonalen Entscheides sei festzustellen, er habe Anspruch auf eine Viertelsrente vom 1. März 2016 bis 31. Mai 2016, auf eine ganze Invalidenrente vom 1. Juni 2016 bis 31. Dezember 2016 und auf eine unbefristete Viertelsrente ab 1. Januar 2017.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung, wobei Erstere die Abweisung der Beschwerde verlangt.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Als Rechtsfrage gilt, ob die rechtserheblichen Tatsachen vollständig festgestellt und ob der Untersuchungsgrundsatz bzw. die Beweiswürdigungsregeln nach <ref-law> beachtet wurden. Gleiches gilt für die Frage, ob den medizinischen Gutachten und Arztberichten im Lichte der rechtsprechungsgemässen Anforderungen Beweiswert zukommt (<ref-ruling> E. 5.1 S. 232). Bei den aufgrund dieser Berichte getroffenen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit und bei der konkreten Beweiswürdigung geht es um Sachverhaltsfragen (nicht publ. E. 1 des Urteils <ref-ruling>).
2.
Das kantonale Gericht hat die rechtlichen Grundlagen betreffend die Voraussetzungen des Rentenanspruchs (<ref-law>), die Invaliditätsbemessung nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>) und den Beweiswert ärztlicher Berichte (vgl. E. 1 hiervor) richtig dargelegt. Darauf wird verwiesen.
3.
Streitig ist, ob die Vorinstanz Bundesrecht verletzt hat, indem sie einen Anspruch des Beschwerdeführers auf eine Viertelsrente für die Zeit von 1. März 2016 bis 31. Mai 2016 und auf eine ganze Rente ab dem 1. Januar 2017 verneinte.
Das kantonale Gericht erwog in medizinischer Hinsicht, gestützt auf das Gutachten der Dres. med. C._ und D._ vom 7. Juli/24. August 2017 sei der Beschwerdeführer in der Phase der postoperativen Rekonvaleszenz vom 21. März 2016 bis 30. September 2016 auch in einer adaptierten Tätigkeit vollständig arbeitsunfähig gewesen. Ab 1. Oktober 2016 sei ihm eine solche im Umfang von 60 % zumutbar gewesen. Diese vorinstanzlichen Feststellungen sind unbestritten, weshalb sich hierzu Weiterungen erübrigen.
4.
Die Vorinstanz setzte den Rentenbeginn, wie von der Beschwerdegegnerin am 10. April 2018 verfügt, auf den 1. Juni 2016 fest. Der Beschwerdeführer verlangt eine Invalidenrente bereits ab 1. März 2016, ohne hierfür eine Begründung zu liefern und sich insbesondere mit der Frage der Arbeitsfähigkeit im zeitlichen Verlauf zu befassen. Mangels sachbezüglicher Begründung ist daher auf den entsprechenden Antrag nicht einzutreten.
5.
Umstritten und zu prüfen ist weiter, ob der Einkommensvergleich für die Zeit ab 1. Januar 2017 einen rentenbegründenden Invaliditätsgrad ergibt.
5.1. Der Beschwerdeführer beanstandet die vorinstanzliche Festsetzung seines ohne Gesundheitsschaden erzielbaren Valideneinkommens. Bei dessen Ermittlung ist in der Regel am zuletzt erzielten, nötigenfalls der Teuerung und der realen Einkommensentwicklung angepassten Lohn anzuknüpfen, da es empirischer Erfahrung entspricht, dass die bisherige Tätigkeit ohne Gesundheitsschaden fortgesetzt worden wäre. Ausnahmen müssen mit überwiegender Wahrscheinlichkeit erstellt sein (<ref-ruling> E. 3.3.2 S. 30; Urteil 8C_5/2020 vom 22. April 2020 E. 4.1). Da die Invalidität der voraussichtlich bleibenden oder längere Zeit dauernden Erwerbsunfähigkeit zu entsprechen hat (vgl. <ref-law>), ist auch die berufliche Weiterentwicklung zu berücksichtigen, die eine versicherte Person normalerweise vollzogen hätte. Rechtsprechungsgemäss sind theoretisch vorhandene berufliche Entwicklungs- oder Aufstiegsmöglichkeiten nur dann beachtlich, wenn sie mit hoher Wahrscheinlichkeit eingetreten wären. Für die Annahme einer mutmasslichen Weiterentwicklung wird daher der Nachweis konkreter Anhaltspunkte dafür verlangt, dass die versicherte Person einen beruflichen Aufstieg und ein entsprechend höheres Einkommen auch tatsächlich realisiert hätte, wenn sie nicht invalid geworden wäre. Es müssen konkrete Hinweise für das behauptete berufliche Fortkommen bestehen. Blosse Absichtserklärungen der versicherten Person genügen nicht (<ref-ruling> E. 3.3.3.2 S. 31; Urteil 9C_868/2018 vom 22. August 2019 E. 3.1).
5.2. Die Vorinstanz erwog, die Parteien seien sich einig, das Valideneinkommen sei anhand des vom Versicherten am 21. Oktober 2013 angegebenen Einkommens als selbstständiger Taxifahrer von April bis Dezember 2011 zu bestimmen und für das Jahr 2016 auf Fr. 64'981.35 respektive für das Jahr 2017 auf Fr. 65'371.20 festzusetzen. Dem könne nicht beigepflichtet werden. Denn als Selbstständigerwerbender habe der Versicherte gemäss Auszug aus dem individuellen Konto im Jahr 2011 Einkünfte von insgesamt Fr. 53'094.-, davon Fr. 44'000.- für seine im April 2011 aufgenommene Tätigkeit beim Betrieb B._, deklariert. Der durchschnittliche Monatslohn von April bis Dezember 2011 habe somit Fr. 4888.90 betragen. Dies entspreche einem Jahreseinkommen von Fr. 58'666.80 bei - nach Angaben des Versicherten - einem täglichen Arbeitspensum von 10 Stunden. Unter Berücksichtigung der Nominallohnentwicklung für Männer resultiere ein Valideneinkommen von Fr. 60'688.45 für das Jahr 2016 und von Fr. 60'932.20 für das Jahr 2017. Mit Blick auf die Erwerbsbiographie des Versicherten erscheine auch dieses Valideneinkommen noch als grosszügig bemessen.
5.3.
5.3.1. Der Beschwerdeführer wendet ein, er habe die selbstständige Erwerbstätigkeit als Taxifahrer im Rahmen seiner Einmann-GmbH erst acht Monate vor seinem schweren Verkehrsunfall vom 30. Dezember 2011 aufgenommen. Hätte er diesen Unfall nicht erlitten und seine selbstständige Tätigkeit als Gesunder weiterführen können, wäre gemäss allgemeiner Lebenserfahrung davon auszugehen, dass er sein Einkommen nicht nur entsprechend der Nominallohnentwicklung, sondern nach einigen Jahren der Etablierung in der Taxibranche in einem klar grösseren Ausmass erhöht hätte. Es dränge sich somit auf, das Valideneinkommen gestützt auf den Tabellenlohn der vom Bundesamt für Statistik herausgegebenen Schweizerischen Lohnstrukturerhebung (LSE) 2014, TA1, Ziff. 5-96, Kompetenzniveau 1 (einfache Tätigkeiten körperlicher oder handwerklicher Art), zu bemessen. Dies ergebe ein Valideneinkommen für 2016 von Fr. 67'057.40 und für 2017 von Fr. 67'454.65. Sollte mit der Vorinstanz von dem deutlich unterdurchschnittlichen Einkommen ausgegangen werden, müsste zumindest eine Parallelisierung der Vergleichseinkommen vorgenommen werden.
5.3.2. Bei den vorinstanzlichen Feststellungen zur mutmasslichen Berufskarriere handelt es sich um eine Beurteilung hypothetischer Geschehensabläufe. Dabei geht es um eine für das Bundesgericht grundsätzlich verbindliche Tatfrage (E. 1 hiervor), soweit sie - wie hier - auf Beweiswürdigung beruht, selbst wenn darin auch Schlussfolgerungen aus der allgemeinen Lebenserfahrung mitberücksichtigt werden (<ref-ruling> E. 5b S. 448; Urteil 8C_838/2017 vom 18. Mai 2018 E. 3). Zu beachten ist, dass bei der Bestimmung des Valideneinkommens grundsätzlich darauf abzustellen ist, was die versicherte Person im massgebenden Zeitpunkt als Gesunde tatsächlich verdienen würde und nicht, was sie als voll Erwerbstätige bestenfalls verdienen könnte (<ref-ruling> E. 3.1 S. 59; Urteil 8C_194/2020 vom 12. Mai 2020 E. 4.5). Es ist nicht ersichtlich, dass die vorinstanzliche Festlegung des Valideneinkommens für das Jahr 2017 auf Fr. 60'932.20 (E. 5.2 hiervor) auf einer offensichtlich unrichtigen Sachverhaltsfeststellung oder willkürlichen Beweiswürdigung beruht. Mit dem pauschalen Hinweis auf das Einkommen "Total" (Ziff. 5-96) der LSE-Tabelle TA1, Kompetenzniveau 1, belegt der Versicherte nicht, dass das von der Vorinstanz veranschlagte Valideneinkommen als selbstständigerwerbender Taxichauffeur im Einmannbetrieb erheblich unterdurchschnittlich ist. Eine Parallelisierung der Vergleichseinkommen erübrigt sich somit.
6.
6.1. Strittig ist weiter das vom Versicherten trotz Gesundheitsschadens erzielbare Invalideneinkommen. Hat die versicherte Person - wie hier - nach Eintritt des Gesundheitsschadens keine oder jedenfalls keine ihr an sich zumutbare neue Erwerbstätigkeit aufgenommen, so können nach der Rechtsprechung die LSE-Tabellenlöhne herangezogen werden (<ref-ruling> E. 2.2 S. 296).
Praxisgemäss können persönliche und berufliche Merkmale der versicherten Person wie Alter, Dauer der Betriebszugehörigkeit, Nationalität oder Aufenthaltskategorie sowie Beschäftigungsgrad einen auf höchstens 25 % begrenzten Leidensabzug vom LSE-Tabellenlohn rechtfertigen, soweit anzunehmen ist, dass die trotz des Gesundheitsschadens verbleibende Leistungsfähigkeit infolge eines oder mehrerer dieser Merkmale auf dem ausgeglichenen Arbeitsmarkt nur mit unterdurchschnittlichem Einkommen verwertet werden kann (<ref-ruling> E. 5.2 S. 301). Diese Praxis gilt grundsätzlich auch nach der LSE-Revision von 2012 (<ref-ruling> E. 2.5.7 i.f. S. 189; Urteil 8C_5/2020 vom 22. April 2020 E. 5.1). Es sind keine separat quantifizierten Abzüge je für die massgeblichen Kriterien vorzunehmen und diese zu addieren, sondern der Abzug ist unter Würdigung der Umstände im Einzelfall nach pflichtgemässem Ermessen gesamthaft zu schätzen (<ref-ruling> E. 5b/bb S. 80).
6.2. Die Vorinstanz erwog im Wesentlichen, die IV-Stelle habe das Invalideneinkommen ausgehend von der LSE 2014, Tabelle TA1, Ziff. 5-96, Kompetenzniveau 1, bemessen. Für das 60%ige Pensum des Versicherten im Jahr 2017 habe sie ein jährliches Einkommen von Fr. 40'472.80 veranschlagt. Ein Tabellenlohnabzug sei nicht gerechtfertigt.
6.3. Der Beschwerdeführer beanstandet einzig die Nichtgewährung eines Abzugs vom Tabellenlohn. Ob ein solcher vorzunehmen ist, ist eine vom Bundesgericht frei überprüfbare Rechtsfrage (<ref-ruling> E. 4.2 S. 20).
6.3.1. Der Beschwerdeführer macht geltend, zutreffend sei der angefochtene Entscheid insofern, als die 60%ige Einschränkung der Arbeitsfähigkeit von den Gutachtern der medizinischen Abklärungsstelle E._ nicht als zeitliche Einschränkung dargestellt worden sei. Er könne die 60%ige Leistungsfähigkeit in einer höheren Präsenzzeit erbringen. Allerdings führe der erhöhte Pausenbedarf eben doch zu einer gewissen Reduktion des zeitlichen Arbeitspensums. Für sich allein möge der erhöhte Pausenbedarf noch keinen Abzug rechtfertigen, er sei indessen in der Gesamtwürdigung mitzuberücksichtigen.
6.3.2. Das Bundesgericht verneint in der Regel einen Abzug vom Tabellenlohn, wenn die versicherte Person in der Lage ist, in einem Vollzeitpensum eine wegen vermehrten Pausenbedarfs reduzierte Arbeitsleistung zu erbringen (SVR 2014 IV Nr. 37 S. 130, 8C_7/2014 E. 9.2; Urteil 8C_729/2019 vom 25. Februar 2020 E. 4.4).
Selbst wenn die Restarbeitsfähigkeit des Beschwerdeführers nicht vollschichtig umsetzbar wäre, könnte er daraus nichts zu seinen Gunsten ableiten. Aus der Rechtsprechung ergibt sich nämlich gerade nicht, dass zwingend ein Abzug vorzunehmen ist, wenn nur noch eine Teilzeittätigkeit zumutbar ist (Urteil 8C_712/2019 vom 12. Februar 2020 E. 5.2.2). Ob ein Abzug vom Tabellenlohn vorzunehmen ist, wenn eine versicherte Person ihre Arbeitsfähigkeit nicht vollschichtig umsetzen kann, muss stets mit Blick auf den konkreten Beschäftigungsgrad und die jeweils aktuellen Tabellenwerte ermittelt werden. Im vorliegenden Fall erwog das kantonale Gericht, Männer mit einem Beschäftigungsgrad von 50-74 % verdienten statistisch 4.1 % weniger als solche mit einem Beschäftigungsgrad von 100 %, was praxisgemäss jedoch keinen Abzug rechtfertige. Dem ist beizupflichten, zumal der Versicherte die Feststellungen der Vorinstanz hinsichtlich der statistischen Grundlagen nicht als offensichtlich unrichtig rügt (vgl. Urteile 8C_151/2020 vom 15. Juli 2020 E. 6.3.2; 9C_223/2020 vom 25. Mai 2020 E. 4.3.2 und 8C_12/2017 vom 28. Februar 2017 E. 5.5.2).
6.3.3. Der Beschwerdeführer wendet weiter ein, aufgrund des vom behandelnden Dr. med. F._, Orthopädische Chirurgie und Traumatologie des Bewegungsapparates FMH, Klinik G._, und vom orthopädischen Gutachter der medizinischen Abklärungsstelle E._, Dr. med. C._, gezeichneten negativen Leistungsbildes könne nicht einfach von der vorbehaltlosen Zumutbarkeit einer leichten bis mittelschweren Tätigkeit ausgegangen werden. Ihm sei lediglich eine mehrheitlich sitzende Tätigkeit mit gelegentlich sehr kurzen Gehstrecken und dem ausnahmsweisen Heben von Lasten bis maximal 8 kg für wenige Sekunden zumutbar. Damit sei er letztlich auf eine Arbeitstätigkeit im reinen Dienstleistungsbereich angewiesen ohne jegliche körperliche Tätigkeiten.
Dem Versicherten sind nicht sämtliche körperlichen Tätigkeiten unzumutbar. Aus dem IME-Gutachten vom 7. Juli 2017 ergibt sich nämlich u.a., dass er nicht repetitiv Lasten bis 5 kg körperfern und Lasten bis 8 kg körpernah ohne technische Hilfsmittel heben und tragen kann. Dass ihm allenfalls nicht mehr alle leichten bis mittelschweren Tätigkeiten im hier zugrunde gelegten Kompetenzniveau 1 (oben E. 6.2) offen stehen, lässt nicht ohne Weiteres den Schluss zu, seine Anstellungschancen seien verglichen mit einem gesunden Mitbewerber nur bei Inkaufnahme einer Lohneinbusse intakt (vgl. Urteil 9C_223/2020 vom 25. Mai 2020 E 4.3.3). Der massgebende ausgeglichene Arbeitsmarkt (vgl. <ref-law>; <ref-ruling> E. 3.1 S. 459 f., 110 V 273 E. 4b S. 276) bietet nämlich eine Vielzahl verschiedenartiger Stellen. Dass sich darunter keine Tätigkeiten befänden, die dem zumutbaren Leistungsprofil des Versicherten entsprechen, ist nicht ersichtlich.
6.3.4. Da von einer Tätigkeit des Beschwerdeführers im Kompetenzniveau 1 ausgegangen wird, rechtfertigt die von ihm ins Feld geführte fehlende Ausbildung und Berufserfahrung im Dienstleistungsbereich keinen Tabellenlohnabzug (vgl. auch Urteil 8C_314/2019 vom 10. September 2019 E. 6.2).
6.4. Ohne einen Tabellenlohnabzug bleibt es somit beim von der Vorinstanz veranschlagten Invalideneinkommen von Fr. 40'472.80 für das Jahr 2017 (E. 6.2 hiervor). Verglichen mit dem Valideneinkommen von Fr. 60'932.20 im Jahr 2017 (E. 5.2 und E. 5.3.2 hiervor) resultiert ein rentenausschliessender Invaliditätsgrad von gerundet 34 % (zur Rundung siehe <ref-ruling>). Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist (E. 4 hiervor).
7.
Der unterliegende Beschwerdeführer trägt die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. Juli 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Jancar