Kariyeri boyunca Bayern Münih (1990-1997), AC Milan (1997-1999) ve Middlesbrough FC (1999-2000) takımlarında oynayan Ziege için 2000 yazında Liverpool takımı 5.5 milyon sterlinlik bir teklif yaptı. Middlesbrough futbolcuyu bırakmak istemese de bu teklif sözleşmesindeki serbest kalması için gerekli miktara karşılık geldiği için Ziege'ye engel olamadı ve Liverpool, oyuncuyla anlaştı. Liverpool'daki ilk maçına 9 Eylül 2000'de Manchester City'i 3-2 yendikleri maçta Steven Gerrard'ın yerine oyuna dahil olarak çıktı. Sezon boyunca yaşadığı diz sakatlıkları ve Jamie Carragher'ın yükselen formunun etkisiyle sezon sonunda Tottenham Hotspur'a satıldı. Liverpool formasıyla toplam 32 maçta forma giyen Ziege, 2001 Football League Cup Finali'nde sonradan oyuna girerek penaltı atışlarında bir penaltıyı gole çevirdi. Ancak, sakatlıkları yüzünden FA Cup ve UEFA Kupası finallerini kaçırdı. Liverpool formasıyla biri ligde Leeds United karşısında biri de Lig Kupası'nda Stoke City karşısında olmak üzere iki gol attı.