Убрзо након напада Сила осовине на Југославију, 6. априла 1941, немачке јединице заузеле су Скопље, па је од ваздухопловаца формиран батаљон пешадије у коме је Милоје био командир чете. У време капитулације Југословенске војске, његов батаљон налазио се у Гостивару, где га је око 20. априла мајор Егон Житник предао Немцима. Заробљене војнике Немци су спровели у логор у Тетову, одакле је Милоје успео да побегне почетком маја. Преобучен у албанско одело дошао је у свој стан у Скопљу, где се задржао неколико дана, након чега је одлучио да са супругом, децом и свастиком оде у Србију, како би избегао хапшење од стране окупационих власти. Прешли су у Краљево, где је уз помоћ једног пријатеља почео да ради у градској ватрогасној јединици. Рад у ватрогасцима била је добра камуфлажа за њега, јер је био у страху да окупационе власти не сазнају да је бивши подофицир и да га не ухапсе и пошаљу у заробљеништво. У ватрогасној јединици деловало је више чланова и симпатизера Комунистичке партије Југославије (КПЈ), који су касније ступили у партизане, а међу њима и група музичара. Током рада са ватрогасцима, упознао се са комунистима, који су овде деловали и преко њих добио прве информације о борби против окупатора, која се припремала. Након напада Немачке на Совјетски Савез, 22. јуна 1941, када су почела масовна хапшења комуниста и њихових симпатизера, као и свих лица која су била сумњива окупационим властима, Милоје је одлучио да напусти Краљево и са породицом пређе у родно село.