Vilsvik har norsk far og tysk mor og ble født i Vest-Berlin. Han begynte sin fotballkarriere som 6-åring hos Tennis Borussia Berlin, hvor han blant annet spilte sammen med Jérôme Boateng. Han var 10 år hos TeBe før han byttet til Lichtefelder FC.