Seit 2004 nahm Kaljunen zumeist an den Rennen des Europacups teil. Nächstes Großereignis wurde die Militär-Skiweltmeisterschaft 2006 in Andermatt mit einem 21. Rang im Sprint als Resultat. 2007 kam in Võru ein 12. Rang mit der Militärpatrouille hinzu. In Antholz nahm der Finne 2007 an seinen dritten Weltmeisterschaften teil, bei denen er 99. des Einzels und 79. des Sprints wurde. Im weiteren Saisonverlauf startete er bei den Sommerbiathlon-Weltmeisterschaften 2007 in Otepää, wo er auf Skirollern 26. des Sprints und 21. der Verfolgung wurde. 2008 wurde der Finne bei den Europameisterschaften in Nové Město na Moravě 37. des Einzels, 34. des Sprints und 32. der Verfolgung. Bei der Militär-Skiweltmeisterschaft 2008 in Hochfilzen kam Kaljunen auf den 19. Platz, wurde mit Timo Antila und Mika Hakala Zehnter im Team und 12. mit der Militärpatrouille. Im Skilanglauf-Rennen über 15-Kilometer-Freistil kam er nicht ins Ziel. In der &lt;a href="Biathlon-Weltcup%202008/2009"&gt;Saison 2008/09&lt;/a&gt; erreichte er in Trondheim mit einem 41. Platz im Sprint sein bestes Resultat im Weltcup und verpasste nur um einen Rang eine Platzierung in den Weltcuppunkten. Auch im IBU-Cup erreichte der Finne in der Saison mit Rang fünf bei einem Sprint in Ridnaun sein bestes Ergebnis.