Faits:
A. Par décision du 28 juin 2011, la Caisse cantonale vaudoise de compensation a fait valoir à l'encontre de F._ une créance en réparation du dommage - arrêté à 23'904 fr. 60 - causé par le non-paiement des cotisations sociales dues par la société X._ SA pour les années 2007 et 2008 (y compris les frais de sommation, de poursuite et les intérêts moratoires). Par décision du 7 septembre 2011, elle a rejeté l'opposition formée par le prénommé contre cette décision.
B. Par arrêt du 21 mars 2012, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a rejeté le recours formé par F._ contre la décision sur opposition.
C. Le 28 avril 2011, F._ interjette un recours contre ce jugement, dont il demande l'annulation.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-law>; <ref-ruling> consid. 1 p. 43, 135 III 329 consid. 1 p. 331 et les arrêts cités).
2. 2.1 Ainsi que l'a jugé le Tribunal fédéral dans un arrêt 9C_398/2010 du 8 février 2011, publié aux <ref-ruling>, la voie du recours en matière de droit public n'est ouverte contre un jugement statuant sur la responsabilité d'un employeur envers une caisse de compensation fondée sur l'<ref-law> que si la valeur litigieuse atteint la limite de 30'000 fr. (<ref-law>) ou si la contestation soulève une question juridique de principe (<ref-law>).
2.2 En l'occurrence, comme le reconnaît le recourant, la valeur litigieuse est inférieure à 30'000 fr. (<ref-law>). Par ailleurs, contrairement à ce qu'il soutient - son argumentation à ce sujet ne pouvant pas être considérée comme suffisante au regard des exigences de motivation prévues à l'art. 42 al. 2, 2ème phrase, LTF -, sa cause ne soulève pas une question juridique de principe en matière de responsabilité de l'employeur au sens de l'<ref-law>. Il n'est en effet pas nécessaire, pour résoudre le cas d'espèce, de trancher une question juridique qui donne lieu à une incertitude caractérisée, laquelle appelle de manière pressante un éclaircissement de la part du Tribunal fédéral, en tant qu'autorité judiciaire suprême chargée de dégager une interprétation uniforme du droit fédéral (cf. consid. 1.1 non publié aux <ref-ruling> de l'arrêt 4A_54/2010 du 4 mai 2010; <ref-ruling> consid. 1.2 p. 399). La voie du recours en matière de droit public n'est par conséquent pas ouverte.
2.3 Dans la mesure où le recourant fait aussi valoir une violation de droits fondamentaux, ses griefs ne répondent manifestement pas aux exigences de motivation prévues à l'<ref-law>, selon lequel le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant. Celui-ci se limite en effet à invoquer tour à tour une violation des art. 8, 9, 29 al. 2 et 30 Cst. et à affirmer que le jugement cantonal ne serait pas "impartial", qu'il n'aurait pas été traité de "façon égalitaire" et qu'on ne lui aurait pas donné l'occasion de "contrer les allégations du Service social Y._" sur le fait que la société en cause avait employé deux personnes en 2007 et 2008. Ce faisant, le recourant ne montre pas, par une argumentation suffisamment précise, en se référant aux pièces du dossier, en quoi les violations invoquées seraient réalisées. Cela étant, la voie du recours constitutionnel subsidiaire n'est pas non plus ouverte, faute de motivation suffisante.
2.4 En conséquence de ce qui précède, le recours doit être déclaré irrecevable selon la procédure simplifiée de l'art. 108 al. 1 let. a et b LTF.
3. Il convient, en application de l'art. 66 al. 2, 2ème phrase LTF, de renoncer à la perception des frais judiciaires.

Par ces motifs, le Président prononce:
1. Le recours est irrecevable.
2. Il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 25 mai 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless