Янез Вайкард Вальвазор родился в австрийском городе Лайбахе (ныне Любляна), столице Крайны, и был крещён 28 мая 1641 года. Семья — отец Ерней ("Jernej") и мать Анна Мария (в девичестве Равбар, "Ana Marija Ravbar") — жила в замке Медия в Излаке. Когда Янезу было 10 лет, его отец умер. В то время он уже ходил в иезуитскую школу в Лайбахе, которую окончил в 1658 году, будучи 17-летним подростком. Он решил не поступать в университет, а учиться у просвещённых людей, путешествуя по Европе. В ходе этого путешествия, которое продолжалось 14 лет, он успел поучаствовать в турецкой войне (1663—1664), побывать во Франции, Италии и Северной Африке, собирая книги, гравюры и монеты.