После апрельской войны оставался ещё несколько месяцев в Москве, где в июле 1941 года был признан советским правительством как представитель правительства Югославии в изгнании. По свидетельству генерала Павла Судоплатова, к весне 1941 года Гаврилович был полностью завербованным агентом ИНО ГУГБ НКВД, хотя советской разведке было известно о его негласном сотрудничестве с правительством Британии, посольство которой в Москве он регулярно посещал; продолжал встречаться с Павлом Фитиным и после разгрома Югославии Германией.