Kallergis wurde in Sankt Petersburg erzogen und studierte in Wien Medizin. Im griechischen Befreiungskampf kämpfte er unter Georgios Karaiskakis, später wurde er Adjutant des Obersten Fabvier und dann des Präsidenten Ioannis Kapodistrias. Als Befehlshaber einer Kavallerieabteilung half er wesentlich bei der unblutigen Revolution des 3. September 1843 (). Anschließend wurde Kallergis zum General ernannt und zum Adjutanten des Königs erhoben.