Kisseljow absolvierte als Enkel eines Vaterländischen Kriegsteilnehmers das Nowgoroder Kadettenkorps und ab 1852 das 2. St. Petersburger Kadettenkorps. Ohne Kadettenkorps-Abschluss begann er 1858 das Studium an der Kaiserlichen Universität St. Petersburg in der Historisch-Philologischen Fakultät. Nach der zeitweiligen Schließung der Universität wegen Studentenunruhen im Herbst 1861 wurde er Gasthörer der Kaiserlichen Akademie der Künste (IACh), worauf er dort 1862 als Student aufgenommen wurde. Ab 1863 studierte er bei Sokrat Worobjow. Für das Gemälde einer Landschaft im Gouvernement Nowgorod erhielt er von der Akademie die große Silbermedaille. 1864 wurde er Mitglied des von Wassili Maximow geleiteten Artels für gemeinsames Arbeiten und Leben der Künstler nach dem Beispiel des Artels Iwan Kramskois. Jedoch existierte Maximows Artel nicht lange. 1865 schloss Kisseljow das Studium an der IACh als Klassischer Künstler der 3. Klasse ab.