Отец Ковалевского не имел большого дохода, но дал сыновьям хорошее домашнее образование. Этому благоприятствовало то, что униатский священник пользовался традиционными хозяйственными привилегиями, имел определённый доход с требоисправления, а также мог держать на своих землях арендаторов или крепостных. По традиции, сан и служение переходили одному из сыновей, прочие делали светскую карьеру, тогда как дочерей выдавали замуж только за священников. Юзефа довольно рано отправили в Свислочскую , находившуюся под попечением Виленского университета, там уже обучались его братья Юлий и Теодозий. Гимназия быстро получила репутацию одного из лучших польских учебных заведений, её основатель — граф В. Тышкевич — заботился не только об организации учебного процесса, но и о досуге гимназистов, обучение было бесплатным, но родители учеников вносили деньги на содержание воспитателей-надзирателей, которых набирали из учеников той же гимназии, окончивших полный курс. Существуют определённые расхождения по хронологии пребывания Юзефа Ковалевского в гимназии. Польские и белорусские источники называют начальным годом его обучения 1808 или 1809-й, есть сомнения и в том, что в 1817 году он окончил полный курс. Ковалевский показывал немалые способности в гуманитарных науках и писал буколики, выдержанные в классическом стиле. Во время войны 1812 года Свислочь была занята саксонскими частями Шварценберга, мародёры разграбили гимназию, причём Юзеф Ковалевский лишился сундучка вместе со всем небогатым имуществом. «Потеря» одного или двух лет объясняется, вероятно, тем, что Юзеф служил домашним воспитателем, что широко практиковалось. Местом дальнейшего своего пребывания он избрал университет.