Zakovski syntyi Rudbāržin kartanon mailla Kuurinmaalla ja vietti nuoruutensa Libaussa. Hän liittyi Venäjän sosiaalidemokraattiseen työväenpuolueeseen ja sen bolševikkisiipeen vuonna 1913. Hänet karkotettiin 1914 Aunuksen kuvernementtiin, mistä hän hankkiutui 1917 Pietariin ja osallistui siellä lokakuun vallankumoukseen. Zakovski palkattiin turvallisuuspoliisi Tšekaan jo sen perustamisen yhteydessä. Venäjän sisällissodan aikana hän johti Tšekan erikoisosastoja eri rintamilla ja oli sen jälkeen Tšekan seuraajan GPU:n paikallisjohtajana Podolskissa ja Odessassa. Vuosina 1926–1932 hän oli OGPU:n (ent. GPU) aluejohtajana Siperiassa ja muun muassa takasi pääsihteeri Josif Stalinin turvallisuuden tämän vuoden 1928 tunnetun Siperian-matkan aikana. Vuosina 1932–1934 Zakovski oli OGPU:n aluejohtajana Valko-Venäjällä ja syksyllä 1934 jonkin aikaa Valko-Venäjän neuvostotasavallan sisäasiain kansankomissaarina.