Griffin spilte sin første kamp for Portsmouth mot Birmingham City 14. august 2004, og da 2004/05-sesongen var over hadde han spilt 22 ligakamper for . Det ble også 22 ligakamper i hans 2. sesong for Portsmouth, men i 2006/07-sesongen klarte han ikke å etablere seg i startoppstilling deres og han signerte derfor på en låneavtale med hans gamle klubb Stoke. Avtalen med Stoke gikk fra september 2006 og ut sesongen, og etter å ha spilt 33 ligakamper og scoret 2 mål for i 2006/07-sesongen returnerte han til Portsmouth.