Sachverhalt:
A.
Der 1963 geborene A._ war seit 2005 bei der B._ AG als Getränkeauslieferant angestellt und damit bei der VAUDOISE ALLGEMEINE, Versicherungs-Gesellschaft AG (nachfolgend Vaudoise), obligatorisch unfallversichert. Am 26. November 2012 stürzte er in die ungesicherte Öffnung eines Reparaturschachts. Die erstbehandelnden Ärzte des Spitals C._ diagnostizierten im Bericht vom 27. November 2012 eine Schulterluxation rechts nach ventral-kaudal mit Abrissfraktur des Tuberculum majus und minus. Am 28. November 2012 erfolgte in diesem Spital eine Osteosynthese am proximalen Humerus rechts. Die Vaudoise kam für die Heilbehandlung und das Taggeld auf. Sie holte Arztberichte ein und veranlasste eine Observation des Versicherten, die zwischen dem 8. November 2013 und 21. Juni 2014 stattfand (Bericht vom 21. Juli 2014). Mit Verfügung vom 8. Mai 2015 verneinte sie eine Leistungspflicht für die psychischen Beschwerden des Versicherten, da sie nicht adäquat unfallkausal seien. Seine Einsprache wies sie mit Entscheid vom 13. Juli 2015 ab.
B.
Hiergegen erhob der Versicherte beim Sozialversicherungsgericht des Kantons Zürich Beschwerde. Er legte diverse neue Arztberichte auf. Die Vaudoise reichte am 30. März 2016 das im Auftrag der IV-Stelle des Kantons Zürich erstellte polydisziplinäre Gutachten des Swiss Medical Assessment- and Business-Centers (SMAB), Bern, vom 12. August 2015 ein. Der Versicherte legte Stellungnahmen zu diesem Gutachten des Psychiaters FMH Dr. med. D._ vom 21. Februar 2016 und des Orthopädischen Chirurgen FMH Dr. med. E._ vom 4. April 2016 sowie diverse Berichte des Spitals C._ auf. Mit Entscheid vom 5. Januar 2017 wies das kantonale Gericht die Beschwerde ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Versicherte, in Aufhebung des kantonalen Entscheides seien ihm gesetzliche Leistungen aus dem Unfall vom 26. November 2012 zu erbringen; eventuell sei die Sache zur weiteren Abklärung an die Vaudoise zurückzuweisen.
Die Vaudoise schliesst auf Beschwerdeabweisung. Das Bundesamt für Gesundheit verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
Im Beschwerdeverfahren um die Zusprechung oder Verweigerung von Geldleistungen der Unfallversicherung ist das Bundesgericht nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden (Art. 97 Abs. 2 und Art. 105 Abs. 3 BGG).
2.
2.1. Das kantonale Gericht hat die rechtlichen Grundlagen betreffend den für die Leistungspflicht des obligatorischen Unfallversicherers (Art. 6 UVG) erforderlichen natürlichen Kausalzusammenhang zwischen dem Unfall und dem Gesundheitsschaden (<ref-ruling> E. 2.1 S. 111 f., 129 V 177 E. 3.1 f. S. 181) sowie die erforderliche Adäquanz des Kausalzusammenhangs bei psychischen Unfallfolgen (<ref-ruling>) richtig dargelegt. Gleiches gilt bezüglich des Beweiswerts von Arztberichten (<ref-ruling> E. 5.1 S. 232, 125 V 351 E. 3a S. 352) und des massgebenden Beweisgrads der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 6 S. 221). Darauf wird verwiesen.
2.2. Zu ergänzen ist, dass der Unfallversicherer den Fall unter Einstellung von Heilbehandlung und Taggeld sowie Prüfung des Anspruchs auf Invalidenrente und Integritätsentschädigung abzuschliessen hat, wenn von der Fortsetzung der ärztlichen Behandlung keine namhafte Besserung des Gesundheitszustandes mehr erwartet werden kann und allfällige Eingliederungsmassnahmen der Invalidenversicherung abgeschlossen sind (Art. 19 Abs. 1 UVG; <ref-ruling> E. 4.1 S. 113). Die Besserung bestimmt sich namentlich nach Massgabe der zu erwartenden Steigerung oder Wiederherstellung der Arbeitsfähigkeit, soweit unfallbedingt beeinträchtigt, wobei die durch weitere Heilbehandlung zu erwartende Besserung ins Gewicht fallen muss. Unbedeutende Verbesserungen genügen nicht. Diese Frage ist prospektiv zu beurteilen (RKUV 2005 Nr. U 557 S. 388, U 244/04 E. 3.1; Urteil 8C_285/2016 vom 22. Juli 2016 E. 7.1).
Die Prüfung der Adäquanz, d.h. der Fallabschluss, ist bei Anwendung der Praxis gemäss <ref-ruling> in jenem Zeitpunkt vorzunehmen, in dem von der Fortsetzung der auf die somatischen Leiden gerichteten ärztlichen Behandlung keine namhafte Besserung des Gesundheitszustandes mehr erwartet werden kann (<ref-ruling> E. 6.1 S. 116; Urteil 8C_170/2015 vom 29. September 2015 E. 5.2).
3.
3.1. Strittig und zu prüfen ist, ob die vom kantonalen Gericht bestätigte Verneinung der Leistungspflicht der Vaudoise standhält. Für die Beurteilung der Streitsache in zeitlicher Hinsicht massgebend ist der Sachverhalt, wie er sich bis zum Erlass des Einspracheentscheides vom 13. Juli 2015 verwirklicht hat (<ref-ruling> E. 6 S. 397; Urteil 8C_847/2015 vom 2. September 2016 E. 1.3).
3.2. Das kantonale Gericht erwog im Wesentlichen, der Unfall des Beschwerdeführers vom 26. November 2012 sei als mittelschwer im Grenzbereich zu den leichten Unfällen einzustufen. Von den sieben Adäquanzkriterien nach <ref-ruling> E. 6c/aa S. 140 seien lediglich zwei zu bejahen, nämlich körperliche Dauerschmerzen sowie Grad und Dauer der physisch bedingten Arbeitsunfähigkeit. Da sie nicht besonders ausgeprägt erfüllt seien, habe die Vaudoise die adäquate Unfallkausalität der psychischen Beschwerden zu Recht verneint.
4.
Der Beschwerdeführer beruft sich auf einen Bericht des Dr. med. E._ vom 6. März 2017. Hierbei handelt es sich, da erst nach dem angefochtenen Gerichtsentscheid entstanden, um ein unzulässiges echtes Novum (Art. 99 Abs. 1 BGG; <ref-ruling> E. 3.2.2.2 S. 548; Urteil 8C_92/2017 vom 20. März 2017 E. 5.3).
Soweit der Beschwerdeführer neu den von diversen Ärzten verfassten, allgemein zugänglichen Aufsatz <Posttraumatische "frozen shoulder"> auflegt, ist dies zulässig (nicht publ. E. 2.3 des Urteils <ref-ruling>, in SVR 2011 KV Nr. 5 S. 20, 9C_334/2010).
5.
5.1. Der Beschwerdeführer rügt zu Recht, dass das kantonale Gericht auf 10 Seiten seines Entscheides die relevanten medizinischen Akten bloss aufgelistet hat, ohne in der Folge eine Wertung derselben vorzunehmen. Vielmehr ist es ohne Begründung davon ausgegangen, bei ihm liege bloss ein psychischer Gesundheitsschaden vor, dessen adäquate Unfallkausalität zu klären sei. Es hat aber nicht geprüft, ob beim Beschwerdeführer daneben ein anspruchsrelevanter somatischer Gesundheitsschaden besteht. Dies hat es unterlassen, obwohl diverse Arztberichte hierzu Anlass gegeben hätten, wie sich aus Folgendem ergibt:
Im Bericht vom 5. November 2013 diagnostizierte Dr. med. F._, Facharzt FMH für Neurologie, Oberarzt, Klinik für Plastische Chirurgie und Handchirurgie, Spital C._, eine posttraumatische/postoperative Schultersteife rechts. Im Bericht vom 15. September 2015 diagnostizierten Dr. med. G._, Leitender Arzt, und Assistenzarzt H._, Klinik für Unfallchirurgie, Spital C._, unter anderem eine posttraumatische frozen shoulder rechts sowie ein progredientes zervikospondylogenes Schmerzsyndrom rechts. Weiter führten sie aus, die intensive physiotherapeutische Übung habe nicht zum erhofften Erfolg geführt. Dennoch werde dem Beschwerdeführer die Physiotherapie zur Erhaltung der Restbeweglichkeit empfohlen. Ansonsten seien die Behandlungsmöglichkeiten aus unfallchirurgischer Sicht leider ausgeschöpft. Dr. med. E._ legte in der Stellungnahme vom 4. April 2016 dar, hier gehe es im Wesentlichen um eine posttraumatische Schultersteife bzw. posttraumatische adhäsive Kapsulitis. Im Bericht vom 1. Juli 2016 erneuerte PD Dr. med. I._, Leitender Arzt, Institut für Anästhesiologie, Spital C._, die im obgenannten Bericht vom 15. September 2015 gestellte Diagnose.
Praxisgemäss handelt es sich bei der frozen shoulder grundsätzlich um einen organisch objektiv nachweisbaren Gesundheitsschaden (Urteile 8C_372/2010 vom 8. September 2010 E. 6.2 und 8C_595/2009 vom 17. November 2009 E. 5.1.2).
5.2. Der Beschwerdeführer macht weiter geltend, ein Endzustand als Voraussetzung des Fallabschlusses nach Art. 19 Abs. 1 UVG sei noch nicht erreicht gewesen (vgl. E. 2.2 hiervor). Zu dieser Frage hat sich das kantonale Gericht ebenfalls nicht geäussert. Insbesondere hat es die umfangreiche medizinische Aktenlage trotz einlässlicher Wiedergabe keiner näheren Würdigung unterzogen, namentlich nicht im Hinblick darauf, ob ("prospektiv") im Mai 2015 mit weiterer Heilbehandlung noch eine namhafte Steigerung der Arbeitsfähigkeit möglich gewesen wäre. Insofern fehlt es im angefochtenen Gerichtsentscheid an den bundesrechtlich verlangten Feststellungen der massgebenden Gründe (vgl. Art. 112 Abs. 1 lit. b BGG sowie Urteil 8C_298/2016 vom 30. November 2016 E. 5.1). Davon konnte mit Blick auf die von der Rechtsprechung umschriebenen Voraussetzungen des Fallabschlusses (vgl. E. 2.2 hiervor) und die gebotene Rechtsanwendung von Amtes wegen (<ref-ruling> E. 2b S. 36; Urteil 8C_228/2017 vom 14. Juni 2017 E. 4.1.5) auch deshalb nicht abgesehen werden, weil die betreffende Frage in der Beschwerde an die Vorinstanz nicht ausdrücklich aufgeworfen worden war.
5.3. Unter diesen Umständen ist der Sachverhalt auch für eine einwandfreie Adäquanzprüfung nicht hinreichend abgeklärt (<ref-ruling> E. 5.1 S. 472). Die Vorinstanz hat denn auch hinsichtlich des von ihr bejahten Kriteriums des Grades und der Dauer der physisch bedingten Arbeitsunfähigkeit bloss pauschal und ohne Verweis auf konkrete Arztberichte ausgeführt, dieses sei insofern nicht einfach zu bestimmen, als sich in den medizinischen Akten nur sehr wenig verwertbare Angaben dazu fänden und bereits ab April 2013 auch psychische Beeinträchtigungen eine namhafte Rolle gespielt hätten. Auch diesbezüglich ist die Vorinstanz dem Untersuchungsgrundsatz nicht nachgekommen.
6.
Nach dem Gesagten hält der angefochtene Gerichtsentscheid wegen Verletzung des Untersuchungsgrundsatzes (Art. 61 lit. c ATSG; <ref-ruling> E. 6 S. 221) und unzulänglicher Begründung (Art. 112 Abs. 1 lit. b BGG) vor Bundesrecht nicht stand. Die Vorinstanz wird die medizinische Aktenlage einer eigenen Würdigung zu unterziehen, sich auch zum Beweiswert der verschiedenen Arztberichte zu äussern und die allenfalls erforderlichen Ergänzungen zu veranlassen haben. Soweit sie dabei auf das von der Vaudoise eingereichte SMAB-Gutachten vom 12. August 2015 abzustellen gedenkt, das sich im angefochtenen Gerichtsentscheid ebenfalls zusammengefasst wiedergegeben findet, wird sie sich namentlich mit den dagegen schon im vorinstanzlichen Verfahren erhobenen Einwänden zu befassen haben.
7.
Die unterliegende Beschwerdegegnerin trägt die Verfahrenskosten (Art. 66 Abs. 1, Art. 68 Abs. 2 BGG; <ref-ruling> E. 11.1 S. 312).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 5. Januar 2017 wird aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 13. Juli 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Frésard
Der Gerichtsschreiber: Jancar