Den 9. juni 2006 ble det kjent at Kompany var kjøpt av HSV for en overganssum på £8.0 millioner for å erstatte landsmannen Daniel Van Buyten. Han spilte seks kamper for Bundesliga-laget før en skade på akilles i november satte han utenfor for resten av sesongen. Rykter sommeren 2007 fortalte at Liverpool FC igjen var interessert i å kjøpe Kompany.