Након државног удара у Чехословачкој 1948. Дробни је све чешће долазио у сукоб са новим комунистичким властима и њиховим репресивним методама, а посебно се није слагао са кориштењем свог имена у пропагандне сврхе од стране нових власти. Неслагања са новим властима и готово онемогућено слободно путовање по турнирима у иностранству довело је до коначног напуштања Чехословачке, 11. јула 1949. године. Дробни је искористио учешће на тениском турниру у швајцарском Гштаду и заједно са сународником Владимиром Черником затрађио азил у Швајцарској. Како је касније написао у својој аутобиографији, у тренутку кад је напустио родну земљу „имао је свега неколико мајица, четкицу за зубе и 50 долара у џепу”.