Josef Trumpeldor se narodil v Pjatigorsku v carském Rusku. Jeho otec, Wulf Trumpeldor, sloužil jako kantonista v Kavkazské válce a jako „užitečnému Židovi“ mu bylo dovoleno usadit se mimo pásmo osídlení. Přestože byl hrdý Žid, jeho výchova byla spíše ruská než tradičně židovská. Původně se vyučil dentistou, ale roku 1902 dobrovolně vstoupil do ruské armády. Během rusko-japonské války, ve které dva roky bojoval, se zúčastnil obléhání přístavu Port Arthur, kde kvůli šrapnelu přišel o levou ruku. Během hospitalizace strávil stovky dní v nemocnici. Trumpeldor byl silně oddaný své zemi. Když byl dotazován, jestli bylo těžké se rozhodnout, že se svým zraněním bude pokračovat v boji, odpověděl: „ale já mám ještě jednu ruku, kterou obětuji vlasti.“ Poté, co přístav kapituloval, byl Trumpeldor odvlečen do japonského zajetí. Během ročního zajetí se podílel na vydávání novin s židovskými tématy a organizoval výuku historie, geografie a literatury. Spřátelil se také s několika dalšími vězni, kteří sdíleli jeho touhu po založení společné farmy v Palestině. Po návratu ze zajetí se odstěhoval do Petrohradu. Následně obdržel čtyři vyznamenání za statečnost, včetně kříže sv. Jiří, díky němuž se stal nejvíce dekorovaným židovským vojákem v Rusku. V roce 1906 se stal prvním Židem v armádě, který se stal důstojníkem.