Kowalewskis Vater war uniert-orthodoxer Priester mit geringem Einkommen, während die Mutter polnischer Herkunft war. Kowalewski hatte zwei Brüder und blieb sein Leben lang katholisch. Die Kinder erhielten eine häusliche Erziehung. Kowalewski wurde bereits 1808 aufs Gymnasium in Swisslatsch geschickt, das der Universität Wilna unterstand. Während des Französisch-Russischen Krieges 1812 wurde Swisslatsch von sächsischen Truppen unter Karl Philipp zu Schwarzenberg besetzt. Das Gymnasium wurde geplündert, so dass Kowalewski seine Habseligkeiten und ein Schuljahr verlor.