Narodil se ve středočeských Týnčanech jako třetí dítě ze sedmi v rolnické rodině. Vystudoval architekturu a pozemní stavitelství na České škole technické. Později pracoval v Rusku na stavbě Transsibiřské magistrály. V Rusku se oženil, jeho manželka Naděžda pocházela ze šlechtických kruhů. Po Říjnové revoluci byli odsouzeni k vyhnanství na Sibiři. Ze země uprchli a odejeli do Číny. V čínské Šanghaji se Švagr seznámil s českým architektem Antonínem Raymondem, který mu nabídl zaměstnání ve své architektonické kanceláři v Japonsku.