Josef Mašín, der aus einer Bauernfamilie stammte, absolvierte eine Realschule in Kutná Hora und 1912–1915 die mittlere Handelsschule in Roudnice nad Labem, wo er im April 1915 die Matura ablegte. Ende April 1915 wurde er zur Armee eingezogen und kam an die Ostfront, wo er bereits im September 1915 desertierte, kurzzeitig in russische Gefangenschaft geriet und sich bereits im Januar 1916 in die Tschechoslowakischen Legionen meldete. Bis zum Kriegsende diente er bei verschiedenen Schützeneinheiten, besuchte eine Offiziersschule und Kurse. Unter anderem nahm er an der Schlacht bei Zborów und der Schlacht bei Bachmatsch sowie an Kämpfen bei Krasnojarsk teil, wo er schwer verwundet wurde. Im Rang eines Kapitäns reiste er über Wladiwostok nach Prag, wo er im Februar 1920 ankam. Er verließ die Armee zuerst, kehrte aber nach einigen Monaten zurück, besuchte Spezialkurse und diente bei der Artillerie in Budweis, unter anderem als Befehlshaber einer Batterie, ab September 1927 als Leiter einer Offiziersschule. Ab September 1928 wurde Mašín nach Prag zum 1. Artillerieregiment verlegt; um diese Zeit lernte er Josef Balabán kennen. In dieser Einheit blieb er mit Unterbrechungen in verschiedenen Positionen bis zur Besetzung der Tschechoslowakei 1939, teilweise als Befehlshaber. Er wurde mehrere Male befördert, unter anderem im Juli 1929 zum Major und im Juli 1933 zum Oberst. 1938 wurde sein Regiment der neuen 2. Armeegruppe in Jihlava zugeteilt, Mašín übernahm den Befehl des Regiments sowie auch der Artillerie dieser 2. Gruppe.