Jozef Tomko studerte etter vanlig skolegang i Michalovce fra 1943 til 1944 ved Kyril og Methodius teologiske fakultet ved Comenius-universitetet og bodde fra 1945 som prestekandidat ved det pavelige kollegium Nepomucenum i Roma og studerte ved Lateranuniversitetet. Han tok doktorgraden i kirkerett ved Det pavelige universitet Gregoriana.