Faits : A. Par décision du 15 juillet 2014, l'Office cantonal AI du Valais (ci-après: l'office AI) a procédé à la reconsidération de sa communication du 14 juillet 2014, par laquelle il avait remis en prêt à A._, à titre de moyens auxiliaires, un fauteuil roulant manuel ainsi que divers accessoires y relatifs, et exigé la restitution immédiate desdits moyens auxiliaires. Il a dans le même temps retiré l'effet suspensif à un éventuel recours. B. Par jugement incident du 4 novembre 2014, la Cour des assurances sociales du Tribunal cantonal du Valais a rejeté la demande de restitution de l'effet suspensif au recours déposée parallèlement au recours formé le 15 septembre 2014 contre la décision du 15 juillet 2014. C. A._ interjette un recours en matière de droit public contre ce jugement incident dont il demande l'annulation. Il conclut à la restitution de l'effet suspensif au recours du 15 septembre 2014. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.