John Jensen startet sin karriere med ungdomsfotball hos Vorup og Randers Freja før han skrev under på en kontrakt med AGF i 1994. Etter å ha spilt over 119 kamper og skåret 13 mål for klubben dro han videre til den lokale konkurrenten Silkeborg IF, hvor han skrev under på en treårskontrakt og uttalte at han ønsket nye sportslige utfordringer.