Castagne begynte å spille fotball for lokale klubber US Waltzing og Lorrain Arlon før han flyttet til ungdomsakademiet til Virton, den største klubben i provinsen.