Po napadu na Jugoslavijo in nemški okupaciji Gorenjske se je Sirc iz strahu za lastno življenje z ženo umaknil v Ljubljano, kjer je bil pritisk za odtenek manjši. Sirc je do nemških okupatorjev namreč gojil globoko nezaupanje, obenem pa tudi Nemci do njega. Sirčevo premično in nepremično premoženje je nacistična oblast zato v celoti zasegla tako v Sloveniji kot v Srbiji. Njegovo tovarno in premoženje so Nemci zaplenili, jo predali berlinski družbi Luftfahrtanlagen, le-ta pa je tekstilne stroje razprodala, v tovarni pa uvedla proizvodnjo sestavnih delov za vojaško letalsko industrijo. Zato se je znašel v težavah, saj je ostal brez premoženja, v Ljubljani pa je bil sedež vseh slovenskih bank, ki so bile Sirčeve upnice. Vendar se mu je uspelo dogovoriti za odlog poplačila terjatev. Sirčevi poskusi rešiti svoje premoženje so bili neuspešni.