Letoun byl navržen v roce 1951, po rozhovorech s piloty během korejské války, jako letoun s nadprůměrnými letovými vlastnostmi i na úkor zásob paliva a výzbroje. První prototyp "XF-104" (sér. č. 53-7786) vzlétl s pilotem Tony LeVierem v březnu 1954 ze základny Edwards s motorem Wright J65-B-3 o tahu 32,02 kN. Druhý prototyp (53-7787) byl vybaven motorem Wright XJ65-W-6 se statickým tahem 32,05 kN a 46,65 kN již s přídavným spalováním. Druhý prototyp vyzbrojen kanónem T-171 Vulcan ráže 20 mm instalovaným v levé části spodku přídě byl zničen havárií již v dubnu během střeleckých testů. Pilot Herman Salmon se zachránil katapultáží. Testy prvního prototypu pak pokračovaly do listopadu 1955, kdy USAF letoun objednalo do sériové výroby.