Acosta ble født i San Diego i California, som sønn av Miguel Acosta og Martha Blanche Reilly. Han studerte ved i Pasadena i California fra 1912 til 1914. Han lærte seg selv å fly i august 1910 og eksprimenterte med å bygge fly frem til 1912 da han begynte å arbeide for Glenn Curtiss som lærling på et sjøflyprosjekt. I 1915 arbeidet han som flyinstruktør. Han dro til Canada og arbeidet som instruktør for Royal Flying Corps og Royal Naval Air Service i Toronto. I 1917 ble han sjefsinstruktør i på Hazelhurst Field, Long Island hvor han testfløy tidlige åpne fly, slike som Continental KB-1 over New York i temperaturer under frysepunktet.