Eine VPN Verbindung besorgt dir erstmal eine anonyme IP-Adresse, das heisst jedoch nicht, dass man dich im Netz nicht doch noch identifizieren kann. In deinem Browser können noch unzählige Cookies gespeichert sein, die zu zunächst einmal löschen musst. Dann empfiehlt sich, den Private-Modus deines Browsers zu verwenden, damit der Browser erstmal nichts auf dauer speichert.
Und trotzdem kannst du über Flash-Cookies und deinen individuellen Fingerabdruck an  Browserseinstellungen, Plugins, Betriebssystem, Bildschirmauflösung und  Co. immer noch identifiziert werden, solltest Du eine Webseite vorher schonmal besucht haben. Wenn Du wirklich sicher gehen willst, dann nimm einen frisch installierten Browser, am besten in einer Virtuellen Maschine, in der du deinen VPN Client installierst. Dann solltest Du wirklich auf der sicheren Seite sein :)