בגיל 15 נכלל מילה בנבחרת הנוער של מחוז הדרום, שכללה שחקנים ממכבי רחובות, מכבי נס ציונה, מכבי ראשון לציון וגדרה. הנבחרת אף התמודדה במשחקי המכביה (1935) עם נבחרת המכבי הצעיר. שנה לאחר מכן הצטרף למכבי שמעון (ע"ש הכדורגלן שמעון טבק). כשחזרה מכבי תל אביב ממסעה המוצלח בארצות הברית (1936), הועלה מילה לקבוצה הבוגרת של מכבי תל אביב. מילה מילא מספר תפקידים בראשית דרכו, במשחקו הראשון נגד מכבי פתח תקווה הופיע כמגן שמאלי, אך הודות לבעיטותיו החזקות והמכוונות העלה אותו המאמן לשורת ההתקפה. משחקו הבינלאומי הראשון היה נגד הקבוצה הרומנית טימושווארה, בו מכבי הפסידה 3–4 ומילה הבקיע שער אחד. באותה שנה זכה עם הקבוצה באליפות הליגה. לצידו במכבי תל אביב שיחקו גם גאול מכליס, פרי נויפלד, גרי בית הלוי, מנחם מרימוביץ', ואף עוד הספיק לשחק עם אחיו הצעיר יוסף מרימוביץ'.