Coba jelasin Formula Junior dari Heikki Kovalainen dong

Kovalainen kemudian pindah ke ajang Formula Renault Inggris pada 2001 di mana pada tahun sebelumnya ajang tersebut dimenangkan oleh Kimi Raikkonen. Secara umum perjalanan Kovy di dunia balap single seater berjalan mulus, dengan pengecualian ia selalu menggunakan mesin Renault dalam semua ajang balapan junior yang ia ikuti. Hasil keseluruhan saat ia berada di Formula Renault adalah ia mengantungi dua kemenangan, dua pole, lima podium, dan tiga lap tercepat, yang mengantarnya pada gelar Rookie of the Year. Ia juga kemudian turun dalam ajang Formula 3 Macau Grand Prix di mana ia finish ke delapan.

Kovalainen kemudian mengikuti F3 Inggris bersama tim Fortec Motorsport, yang juga menggunakan mesin Renault. Ia menjadi pembalap yang kompetitif di paruh musim kedua, dengan hasil lima kemenangan dari Sembilan seri sisa. Ia kemudian finish ketiga di belakang Robbie Kerr dan James Courtney, dan di akhir musim lagi-lagi ia memenangi gelar Rookie of the Year. Kemudian seperti tahun sebelumnya, Kovy mencoba lagi keberuntungannya dalam F3 Macau di mana kali ini ia berhasil finish kedua. Dan dalam ajang Zanvoort Marlboro Masters, Kovt berhasil duduk di P4.

Pada musim 2003, Kovy pindah ke ajang World Series by Nissan dengan berpasangan bersama Franck Montagny. Montagny lantas mendominasi musim 2003 dengan Sembilan kemenangan berbanding satu atas Kovy. Kovy kemudian bertahan di sana pada 2004, tetapi kali ini ia berganti tim menjadi Pons Racing. Kovy lantas memenangi World Series dengan 192 poin dan enam kemenangan di atas pembalap Portugis, Tiago Monteiro. Kemudian dengan hasil Kimi Raikkonen yang hanya berada di peringkat 7 klasemen musim 2002 dan Marcus Gronholm yang hanya mampu berada di P5 klasemen WRC 2002, Heikki dianugrahi gelar Finnish Driver of the Year di pertengahan 2003.

Sukses di ajang World Series by Nissa, Kovy lantas mengikuti ajang GP2 pada tahun 2005 dengan bergabung bersama tim Arden Motorsport. Ia menjadi juara balapan pertama ajang pengganti Formula 3000 tersebut di sirkuit Imola, San Marino. Lawan terberat Kovy di ajang GP2 adalah anak mantan juara dunia F1 asal Finlandia Keke Rosberg yang turun atas nama negara Jerman, Nico Rosberg. Persaingan Kovy dan Nico di ajang GP2 terbilang cukup seru, di mana merekan saling bersaing secara ketat bahkan nyaris mencatatkan poin yang sama. Tetapi saat balapan di Spa-Francorchamps, Rosberg akhirnya bisa mengalahkan Kovy. Ditambah kegagalan yang dialami Kovy di Bahrain, Nico Rosberg akhirnya memastikan gelar juara GP2 2005, Kovy sendiri harus puas di posisi runner-up.