По време на учителстването си в Тетовско, Андрей Стоянов е преследван от дейците на гръцката и сръбската пропаганда в Македония и често е наклеветяван пред османските власти, заради което лежи в затвора.