When Your Heart Stops Beating er bandet debut- og eneste album. Det kom ut 14. november 2006 og 13. november i Europa. Det skulle opprinnelig hete «A Little Death Makes Life More Meaningful» som er en del av teksten til sangen «Little Death». Til slutt bestemte Hoppus seg for «When Your Heart Stops Beating».