Faits :
A.
A.a. A._, né en 1954, travaillait en qualité de magasinier pour le compte de B._ SA. Le 1 er mars 2013, il a été victime d'un accident, au cours duquel il a subi une entorse du genou droit et une lésion méniscale interne. La Caisse nationale suisse d'assurance en cas d'accidents (CNA) a pris en charge le cas. Le 3 octobre 2013, l'employeur a annoncé une rechute de l'accident à la CNA. Le 12 mars 2014, A._ a requis des prestations de l'assurance-invalidité.
Dans son rapport d'examen final du 23 avril 2015, le docteur C._, spécialiste FMH en chirurgie orthopédique et médecin d'arrondissement de la CNA, a constaté une situation suffisamment stabilisée pour évaluer les séquelles lésionnelles. Les suites de l'accident ne nécessitaient plus de suivi médical et aucune intervention chirurgicale ne devait être proposée compte tenu des discordances relevées et de l'examen clinique tout à fait rassurant. Sur le plan assécurologique, une pleine capacité de travail était exigible dans une activité respectant les limitations suivantes: pas de marche en terrain accidenté, pas de position statique debout très prolongée, pas de position contraignante du genou (accroupissement, travail à genoux et montées des escaliers et des échelles) et pas de port de charges au-delà de 12,5 à 15 kilos.
A.b. Après avoir rendu un projet de décision du 28 septembre 2015 allouant à l'assuré une rente entière d'invalidité du 1 er septembre 2014 au 31 juillet 2015 et pris connaissance des objections formulées par ce dernier, l'office cantonal de l'assurance-invalidité du Valais (ci-après: l'office AI) a confirmé son projet par décision du 3 août 2016.
A.c. Entre-temps, la CNA a mis fin aux prestations de l'assurance-accidents avec effet au 31 mai 2015 et nié le droit de l'assuré à une rente d'invalidité. Elle a en outre fixé l'indemnité pour atteinte à l'intégrité à 5 % (décision du 16 septembre 2015, confirmée sur opposition le 8 juin 2016).
B.
A._ a recouru contre la décision de l'office AI devant la Cour des assurances sociales du Tribunal cantonal du Valais en concluant à l'octroi d'une rente entière d'invalidité au-delà du 31 juillet 2015 (cause S1 16 162). Il a également recouru contre la décision sur opposition de la CNA (cause S2 16 89). Dans le cadre de cette dernière procédure, il a déposé un rapport d'expertise privée établi par le docteur D._, spécialiste FMH en chirurgie orthopédique et traumatologique de l'appareil locomoteur, du 14 novembre 2016, dont une copie a été versée au dossier AI.
Par jugement du 7 février 2018, la cour cantonale a rejeté le recours de l'assuré contre la décision de l'office AI du 3 août 2016. Par jugement du même jour, elle a également rejeté celui dirigé contre la décision sur opposition de la CNA.
C.
A._ interjette le présent recours en matière de droit public contre le jugement du 7 février 2018 en matière d'assurance-invalidité. Il conclut à l'annulation de ce dernier et de la décision du 5 (recte: 3) août 2016 ainsi qu'au renvoi de la cause à l'office AI pour nouvelle décision dans le sens des considérants.
L'office AI conclut au rejet du recours, tandis que la juridiction cantonale et l'Office fédéral des assurances sociales ont renoncé à se déterminer.
D.
Par arrêt de ce jour, le Tribunal fédéral a rejeté le recours de l'assuré dirigé contre le jugement du 7 février 2018 en matière d'assurance-accidents (cause 8C_226/2018).

Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2.
Le litige porte sur le droit du recourant à des prestations de l'assurance-invalidité au-delà du 31 juillet 2015. Le jugement entrepris expose de manière complète les règles légales et les principes jurisprudentiels sur la notion d'invalidité et son évaluation. Il suffit d'y renvoyer.
3.
3.1. Le recourant reproche en substance à la juridiction cantonale d'avoir admis qu'il disposait encore d'une capacité de travail résiduelle exploitable économiquement sur le marché du travail. Il fait plus particulièrement grief aux premiers juges de n'avoir pas tenu compte du rapport du docteur D._ et soutient qu'aucun employeur ne serait disposé à l'engager au vu notamment de son âge et de ses limitations fonctionnelles. Il demande que sa situation soit réexaminée à la lumière de ces dernières, de son âge avancé et de son manque d'expérience professionnelle.
3.2. Contrairement à ce que prétend le recourant, la juridiction cantonale a tenu compte de ses arguments. Elle n'a notamment pas omis, quoi qu'il en dise, de prendre en considération les conclusions du docteur D._ mais a jugé qu'elles ne s'opposaient pas à la reprise d'une activité lucrative. En effet, dans son rapport du 14 novembre 2016, ce médecin a estimé que le recourant pouvait travailler à 100 % à condition de pouvoir utiliser sa canne. Or, la juridiction cantonale a considéré que les limitations dont souffrait le recourant, notamment le fait de devoir se déplacer avec une canne, étaient compatibles avec un nombre important d'emplois simples de manutention légère ou de contrôle, s'exerçant principalement en position assise et suffisamment disponibles dans les secteurs de la production et des services. Quant au manque de formation professionnelle invoqué par le recourant, il ne peut être considéré comme un critère déterminant au regard de la nature des activités encore exigibles. Les premiers juges ont cependant retenu que le recourant avait eu un parcours professionnel varié, auprès de huit employeurs, ce qui démontrait de bonnes facultés d'adaptation. Enfin, s'agissant de l'âge de l'assuré, il convient de rappeler ce qui suit: le moment où la question de la mise en valeur de la capacité (résiduelle) de travail pour un assuré proche de l'âge de la retraite sur le marché de l'emploi doit être examinée correspond au moment auquel il a été constaté que l'exercice (partiel) d'une activité lucrative était médicalement exigible (<ref-ruling> consid. 3.3 et 3.4 p. 462). Le recourant étant âgé de 60 ans et 11 mois au moment déterminant où le docteur C._ a constaté sa pleine capacité de travail dans une activité adaptée à ses limitations fonctionnelles (cf. rapport du 23 avril 2015), il n'avait pas encore atteint l'âge à partir duquel le Tribunal fédéral admet qu'il peut être plus difficile de se réinsérer sur le marché du travail (<ref-ruling> consid. 4.5.2 p. 433). Aussi, si l'âge du recourant peut limiter dans une certaine mesure ses possibilités de retrouver un emploi - ce dont la juridiction cantonale a tenu compte en augmentant le taux d'abattement sur le revenu d'invalide de 10 % à 15 % -, on ne saurait considérer qu'il rend à lui seul cette perspective illusoire au point de procéder à une analyse globale de sa situation au sens de l'<ref-ruling>. Or, en procédant à une déduction de 15 % sur le revenu d'invalide, les premiers juges sont arrivés à un taux d'invalidité de 13,61 %, lequel était insuffisant pour ouvrir le droit à une rente de l'assurance-invalidité (<ref-law>).
3.3. Il découle de ce qui précède qu'en considérant que le recourant était apte à mettre en valeur sa capacité de travail dans une activité adaptée dans une mesure suffisante pour exclure le droit à une rente, la juridiction cantonale n'a pas violé le droit fédéral.
4.
Mal fondé, le recours doit être rejeté. Les frais judiciaires sont mis à la charge du recourant (art. 66 al. 1 première phrase LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 30 janvier 2019
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Fretz Perrin