בולארד נולד ב-5 בינואר 1861 במחוז לי שבמדינת אלבמה בארצות הברית. שמו המקורי היה רוברט ויליאם בולארד, אולם כילד קטן הוא שכנע את אביו לשנות את שמו לרוברט לי, על שמו של הגנרל המפורסם רוברט אי לי. הוא למד באוניברסיטת אובורן ולאחר מכן באקדמיה הצבאית של ארצות הברית אותה סיים בשנת 1885. לאחר מכן התגייס לצבא ארצות הברית, ובשנת 1892 הועלה לדרגת לוטננט. בשנת 1898 השתתף במלחמת ארצות הברית–ספרד, ולאחר מכן השתתף במלחמת ארצות הברית–הפיליפינים. הוא הוצב בפיליפינים עד 1904. ב-1906 הועלה לדרגת לוטננט קולונל, וב-1907 נשלח לקובה כיועץ צבאי של השלטון האמריקני הזמני באי. ב-1911 הועלה לדרגת קולונל, והשתתף בפלישה האמריקנית למקסיקו בעקבות המהפכה המקסיקנית. הוא פיקד גם על הרגימנט ה-26.