Янез Вайкард Вальвазор народився в австрійському місті Лайбах (нині Любляна), столиці князівства Крайни, і був хрещений 28 травня 1641 року. Сім'я — батько Єрней (Jernej) і мати Ганна Марія (в дівоцтві Равбар, Ana Marija Ravbar) — жила в замку Медія в Ізлаці. Коли Янезу було 10 років, його батько помер. У той час він уже ходив у єзуїтську школу в Лайбасі, яку закінчив у 1658 році, будучи 17-річним підлітком. Він вирішив не вступати до університету, а вчитися у освічених людей, подорожуючи Європою. В ході цієї подорожі, яка тривала 14 років, він встиг взяти участь у турецькій війні (1663—1664), побувати у Франції, Італії та Північній Африці, збираючи книги, гравюри і монети.