После яркого выступления за национальную сборную на Евро-2000 подписал контракт с клубом английской премьер-лиги «Астон Вилла». Провёл отличный дебютный сезон в Бирмингеме, став одним из лидеров клуба. Его игра привлекла интерес со стороны лондонского «Арсенала» и «Ньюкасл Юнайтед». После перехода в «Астон Виллу» в 2001 году игрока национальной сборной Швеции Улофа Мельберга они составили надёжный тандем центральных защитников. Однако их связка играла недолго, так как Алпай в одной из игр повредил себе лодыжку и пропустил оставшуюся часть сезона. Восстановился как раз к лету 2002 года в преддверии чемпионата мира по футболу. На чемпионате показал физическую силу, видение поля и решительность, став одним из лучших игроков турецкой обороны. Команда Турции заняла третье место в турнире, а Алпай был избран в символическую сборную чемпионата.