Vilfort startet karrieren i Skovlunde IF og gikk deretter til Boldklubben Frem. I 1986 gikk han til Brøndby IF, der han ble værende i tolv år.