18 лютого 2006 року Пфістер став тренером збірної Того за три місяці до чемпіонату світу 2006 року, після звільнення Стівена Кеші, який вивів команду на «мундіаль», проте у січні 2006 року провалив Кубок африканських націй, не набравши жодного очка у групі, за що і був звільнений. Перед самим чемпіонатом світу Пфістер зіткнувся із страйком гравців збірною через невиплату федерацією бонусів. У відповідь на це німецький тренер 9 червня пішов у відставку, заявивши, що він не може більше працювати. Тим не менш Пфістер був відновлений через три дні після виконання вимог гравців. Щоправда, через усі проблеми ганці провально виступили на дебютному для себе чемпіонаті світу, програвши усі три матчі у групі (1:2 Південній Кореї, 0:2 швейцарцям і 0:2 Франції). Незабаром після турніру, 8 вересня 2006 року, Пфістер оголосив, що угода не була продовжена і він покинув збірну, після чого тренував суданський клуб «Аль-Меррейх».