Свої виступи у професійному футболі Чилаверт розпочав в складі парагвайського клубу Спортиво Лукеньо у віці 17 років. У 1984 він підписав контракт з футбольним клубом Гуарані, з яким виграв чемпіонат Парагваю в тому ж році. У 1985, у віці 20 років, він уклав контракт з аргентинським клубом Сан-Лоренцо. 1989 року Чилаверт переїхав до Іспанії в клуб Реал Сарагоса. У 1991 році він повернувся до Південної Америки і почав виступати за клуб Велес Сарсфілд, з яким досяг найбільших успіхів в своїй клубній кар'єрі, вигравши аргентинський чемпіонат (чотири рази), Кубок Лібертадорес, Міжконтинентальний Кубок і Суперкубок Південної Америки.