Pod koniec 1939 został ministrem kolei, poczty i telegrafu w czwartym gabinecie rządowym Kjoseiwanowa. Po objęciu funkcji premiera przez Fiłowa od lutego 1940 piastował urząd ministra spraw wewnętrznych i zdrowia publicznego. Wkrótce po przystąpieniu Bułgarii do paktu trzech (1 marca 1941) był jednym z polityków odpowiedzialnych za współpracę z hitlerowskimi Niemcami. Zdaniem niektórych historyków przyczynił się do deportacji ok. 11 400 Żydów z Macedonii i zachodniej Tracji do obozów koncentracyjnych na terenie okupowanej Polski. Według innych źródeł Gabrowski był przeciwny deportacjom i niechętnie współpracował z przedstawicielem gestapo, Theodorem Danneckerem.