I 1867 trådte han inn i politikken i Ungarn, og i 1869 ble han utnevnt til generalkonsul i Beograd, og i 1872 besøkte han Bosnia for første gang. Hans syn på Balkan påvirket sterkt grev Andrássy, den østerriksk-ungarske utenriksministeren. Kalláy forlot Beograd i 1875 og returnerte til Budapest. Like etterpå startet han tidsskriftet («Østlige folk») der han forsvarte Gyula Andrássys politikk.