Faits: A. X._ a déposé une plainte pénale le 23 juin 1998 contre A._, B._ et C._ pour escroquerie. Par ordonnance du 9 octobre 2001, le Juge d'instruction du canton de Vaud a refusé de suivre à la plainte. Saisi d'un recours du plaignant, le Tribunal d'accusation du Tribunal cantonal vaudois (ci-après: le Tribunal d'accusation) l'a déclaré irrecevable pour défaut de motivation, aux termes d'un arrêt rendu le 15 avril 2009. Par arrêt du 12 février 2010, le Tribunal fédéral a admis le recours de l'intéressé, annulé l'arrêt précité et renvoyé la cause au Tribunal d'accusation. B. Le Tribunal d'accusation a admis le recours de X._, le 24 février 2010, annulé l'ordonnance du 9 octobre 2001 et renvoyé le dossier de la cause au Juge d'instruction cantonal afin qu'il instruise la plainte puis rende une nouvelle décision. Le 10 novembre 2010, le magistrat instructeur a dénié à X._ la qualité de plaignant et refusé de suivre à sa dénonciation du 23 juin 1998. Le Tribunal d'accusation a rejeté le recours de l'intéressé, le 13 décembre 2010, et confirmé la décision précitée du Juge d'instruction. Il a considéré en substance que le préjudice indirect subi par X._ ne lui conférait pas la qualité de lésé et que le refus de suivre était de toute façon justifié. C. Agissant par la voie du recours en matière pénale, X._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal d'accusation du 13 décembre 2010 et d'admettre la requête de réouverture d'enquête, l'affaire étant reprise par ledit tribunal, subsidiairement renvoyée au Juge d'instruction pour nouvelle décision. Le Tribunal d'accusation renonce à se déterminer et se réfère aux considérants de son arrêt. Le Ministère public central conclut au rejet du recours et se réfère aux considérants de l'arrêt attaqué. Par courrier du 14 avril 2011, le recourant a informé le Tribunal fédéral qu'il retirait la demande d'assistance judiciaire qu'il avait déposée avec son recours.