Родился в 1977 году в городе Вермельскирхен и является воспитанником местной одноимённой команды. В 1998 году подписал контракт с клубом «Байер 04», в фарм-клубе которого и начал профессиональную карьеру, выступая в Регионаллиге. Дебютировал в Бундеслиге в составе основной команды 19 декабря 2001 года в матче против «Вольфсбурга» "(1:3)", в котором вышел на замену на 85-й минуте вместо Анеля Джаки. В том же сезоне вместе с командой стал финалистом Лиги чемпионов УЕФА. В финальном матче Кляйне остался в запасе, а его команда уступила мадридскому «Реалу» со счётом 1:2.