Faits : A. A._, né en 1976, a travaillé en qualité d'aide-installateur sanitaire. Il a bénéficié depuis le 1 er février 2010 d'une indemnité de chômage et était, à ce titre, assuré contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Dans une déclaration d'accident adressée à la CNA le 21 février 2011, il a indiqué avoir été victime d'un accident de la circulation le 28 janvier précédent. Dans deux questionnaires remplis les 7 et 15 mars 2011, l'assuré a précisé les circonstances de l'accident: alors qu'il circulait au volant d'une voiture, celle-ci a été percutée à l'avant droit par un autre véhicule, dont le conducteur n'avait pas respecté les règles de priorité. Le 15 mars 2011, le docteur B._, spécialiste en médecine générale et médecin traitant, a rempli une fiche documentaire pour première consultation après un traumatisme d'accélération cranio-cérébral. Il a indiqué des douleurs à la nuque et des troubles ostéo-musculaires, y compris une baisse de la mobilité et des douleurs ponctuelles à la pression, ainsi que l'apparition, immédiatement après l'accident, de céphalées, de vertiges, de nausées et de troubles du sommeil. Ce médecin a prescrit un traitement antalgique et anti-inflammatoire, ainsi que de la physiothérapie et il a attesté une incapacité de travail entière dès le 15 février 2011. La CNA a pris en charge le cas. A._ a repris le travail le 12 avril 2011. Le 13 juillet suivant, il a annoncé une rechute. Le docteur B._ a fait état d'un syndrome cervical douloureux avec contracture musculaire et d'une mobilité douloureuse et limitée entraînant une incapacité de travail entière à compter du 13 juillet 2011. Cette rechute a été prise en charge par la CNA. Celle-ci a recueilli de nombreux avis médicaux, en particulier des rapports des docteurs C._, spécialiste en médecine générale (des 27 octobre 2011, 6 février, 4 avril et 22 août 2012), H._, spécialiste en chirurgie générale et traumatologie de l'appareil moteur et médecin d'arrondissement (des 7 décembre 2011, 21 mai et 5 septembre 2012), E._, spécialiste en médecine interne et en rhumatologie (du 12 juin 2012), et F._, spécialiste en psychiatrie et psychothérapie (du 3 juillet 2012). Par décision du 6 juillet 2012, confirmée sur opposition le 12 septembre suivant, la CNA a supprimé le droit de l'assuré à des prestations d'assurance (frais de traitement et indemnité journalière) à compter du 11 juillet 2012. B. L'assuré a recouru contre la décision sur opposition devant la Cour des assurances sociales du Tribunal cantonal du Valais en concluant au maintien de son droit à des prestations d'assurance au-delà du 11 juillet 2012, en particulier jusqu'au 2 octobre suivant en ce qui concerne l'indemnité journalière. A l'appui de ses conclusions, il a produit des rapports du docteur C._ (des 30 novembre 2012 et 20 février 2013). De son côté, la CNA a produit des rapports du docteur D._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur et médecin de la division de médecine des assurances (des 16 janvier et 19 mars 2013). La cour cantonale a rejeté le recours par jugement du 4 décembre 2013. C. A._ forme un recours en matière de droit public contre ce jugement dont il requiert l'annulation, en concluant au maintien de son droit à des prestations d'assurance au-delà du 11 juillet 2012. Subsidiairement, il demande le renvoi de la cause à la cour cantonale pour complément d'instruction, notamment sous la forme d'une expertise médicale, le tout sous suite de frais et dépens. L'intimée conclut au rejet du recours. La cour cantonale et l'Office fédéral de la santé publique ont renoncé à présenter des déterminations.