Мада уважен и од турских власти, Турци су стално сумњали у његову лојалност, а посебно Бели Мемед, полицијски инспектор, Нишког санџака, за нишку, лесковачку, пиротску и трнску казу, велики противник Србије и национално-политичких тежњи Срба у Турској. Према сведочанству, турске власти су га више пута затварале, 1862. године био је у групи од 12 виђенијих људи из краја, које је Бели Мемед ухапсио и одвео у Ниш под оптужбом за велеиздају, због сарадње са српском владом у настојањима да свој крај споје са Србијом. Успео је да се спасе, отишао је у Цариград и уз помоћ патријарха Јоакима ослободио и остале ухапшене. За време устанка у Херцеговини, софијски валија Махазар-паша и нишки мутесариф Риза-паша су га поново затворили, настојећи да утврде његову сарадњу са српском владом.