Svenska Cupen
2004年にファルケンベリFFでデビュー以降は兄ダヴィドと共にプレーをし、2006年に弟ラスムスが在籍するカルマルFFへ移籍した。シーズン終了後に兄もカルマルへ合流することになり、2007年4月9日のAIKソルナ戦で、ヴィクトルが先発出場し、79分にラスムス, 86分にダヴィドが投入されたことにより、スウェーデンサッカー界史上2度目となる3兄弟が同じピッチにたった。ちなみにグンナー・ノルダールで有名なノルダール3兄弟全員が同一チームに所属した最初の例だったが、同じピッチ上にたつことはなかった。この年は、チームがトップリーグ参戦した1985年から最高となる2位に位置づけ、またスウェーデンカップでは、初優勝した1987年から3度目となるタイトル獲得するなど素晴らしい時を過ごす中、ヴィクトルを始めとするエルム3兄弟は、2007年後半戦から大きな役割を果たした。2008年は、悲願のリーグ初優勝を3兄弟で経験する中、ヴィクトルは最後のホーム試合で4得点を挙げる活躍を見せるなど得点ランク2位の15得点を記録し、優秀MFに輝く最高のシーズンを送った。UEFAカップ 2008-09予選1回戦のフェイエノールトとの第1戦では、アウェーの地で決勝点を挙げ、1-0の勝利に導いた。