גוף המטוס היה ארוך מאוד, צר ובעל חרטום חד ושטח פנים מצומצם. בגוף הדחוס שכנו המכ"ם, תא הטייס, התותח, מכלי הדלק, כני הנסע והמנוע. בגלל הגודל הקומפקטי של גוף המטוס, היה מקדם הגרר של המטוס קטן במיוחד, למעט בזוויות התקפה גבוהות, בהן הגרר המושרה הפך גבוה מאוד. מבנה זה הביא לכך שלמטוס היו נתוני תאוצת טיפוס ונתוני מהירות מרבית מצוינים, אך ביצועי הפנייה המתמשכת שלו היו ירודים.
מערכת בקרת טיסה.
למטוס היה הגבר הידראולי, ולכן לא הורגשו לחצים על משטחי ההיגוי. כדי לפצות על־כך הותקנו מגוון קפיצים ומשקולות, שנועדו ליצור באופן מלאכותי את ה'רגש' בהיגוי על ידי מתן משוב לטיס באמצעות סטיק ההיגוי.
עומס הכנף הגבוה, שנבע מקוטנן של הכנפיים, הביא לכך שמהירות הנחיתה של ה-F-104 הייתה גבוהה מאוד. כדי להקטינה, שולבה במטוס מערכת בקרת מעטפת גבולית (באנגלית: Boundry Layer Control System, בר"ת: BLCS), שהעבירה חלק מהאוויר החם מהמנוע אל מדפי שפת הזרימה, כדי להגביר את העילוי בזמן הנחיתה. מערכת זו הייתה קשה לתחזוקה, אך היה לה תפקיד חיוני בנחיתות: נחיתה בלי שימוש במערכת סיכנה את המטוס.
במטוס הותקנה מערכת טייס אוטומטי בסיסית, שאפשרה שמירת עלרוד, שמירת כיוון (סבסוב) ושמירת מהירות אוויר. הטייס היה יכול להשתמש בבורר על לוח הטייס האוטומטי כדי לבצע תיקונים קלים בכיוון הטיסה.
מערכת הגברת היציבות (באנגלית: Stability Augmentation System או, ר"ת: SAS) ששולבה במטוס ייצבה את המטוס במהלך הטיסה באמצעות שיכוך רעידות ותיקון שגיאות רגעיות (לדוגמה, כתוצאה ממכת רוח). למערכת הייתה חשיבות רבה, ותקלה בה חייבה הגבלת מהירות הטיסה ל-300 קשר (555 קמ"ש), שכן במהירות גבוהה מזו לא ניתן היה לשלוט כראוי במטוס. מערכת זו, בשונה משאר המערכות, לא נתנה משוב לסטיק (לטייס), ולכן תיקוניה כלל לא הורגשו.
תופעה בעייתית נוספת במטוס הייתה הזדקרות החרטום כלפי מעלה בזויות תקיפה גבוהות. תופעה זו גרמה לאיבוד כוח עילוי ולכניסה לסחרור קטלני. כדי למנוע את התופעה, הוטמעה במטוס מערכת בקרת עלרוד (באנגלית: Auto Pitch Control, בר"ת: APC). בזוויות התקפה מסוכנות הייתה המערכת מתערבת ומורידה את החרטום כלפי מטה, ובמקביל מורידה את הסטיק (כמשוב לטייס). עוד הותקן במערכת רכיב שהרעיד את הסטיק, כדי להזהיר את הטייס שהוא מתקרב לזוויות התקפה מסוכנות. משוב זה התבטל כאשר הטייס הוריד מדפים כלפי מטה, להגברת כושר התימרון בעת קרב, וזאת כדי לא להפריע לטייס בתימרון.
משטחי ניהוג ייחודיים.
הגה גובה אופקי הותקן גבוה על גבי הסנפיר ושלט על ציר העלרוד. הגה הגובה היה מיוחד בכך שנבנה כמקשה אחת (רוב המטוסים בני זמנו השתמשו בשני הגאי גובה שהותקנו בשני צידי הגוף בזנב המטוס). הגה הגובה הופעל בצורה יוצאת דופן, כאשר חובר אליו, בדומה למפעיל ט"א, מפעיל APC שנתן פקודה כאשר המערכת "שאפה" להוריד אף.
במודיפיקציה מתקדמת של דגמי ה-F-104 A/B יכלו לשים את מדפי שפת הזרימה ומדפי שפת ההתקפה לתצורת נחיתה במהירויות של עד מאך 550/1.8 קשר, מה ששיפר את זריזות המטוס בצורה ניכרת.
כני נסע.
שתי התצורות הנפוצות של כני הנסע במטוסי סילון בני דורו של ה-F-104 היו: עיגון כני הנסע בגוף המטוס, כאשר לאחר המראה הם התקפלו לתוך הכנפיים, או עיגון כני הנסע במרכז הכנפיים וסגירתם אל תוך גוף המטוס - תצורה שלא התאפשרה ב-F-104 כיוון שהכנפיים הותקנו במרכז הגוף (ולא בגחון הגוף, כמרבית מטוסי הקרב בזמנו).
במטוסי המיג בני הדור הראשון גם הותקנו הכנפיים במרכז הגוף, אך כנפיהם היו גדולות ומסיביות מספיק ויכולות לתמוך בכני הנסע שנסגרו לתוכן (ולא לתוך הגוף כמו ברוב המטוסים), בשונה מה-F-104 שכנפיו היו קטנות ועדינות מכדי לעשות זאת.
במקום זאת כני הנסע בסטארפייטר עוגנו בגוף והתקפלו לתוכו (בדומה לכני הנסע של ה-F-16).
מנוע, כונסים ומערכות דלק.
המטוס עוצב כדי לשאת את המנוע J-79 של חברת ג'נרל אלקטריק, אשר הוזן באוויר על ידי שני כונסי חרוט חצי מעוגלים בשני צדי הגוף, המיטביים לטיסה על קולית.
יחס דחף-משקל של המטוס היה מצוין, ואפשר טיסה במהירות גבוהה בהרבה מ-2 מאך, אך הגבלות החום על שלדת האלומיניום והמדחס הגבילו את המהירות ל-2.2 מאך. גרסאות מאוחרות של ה-F-104 השתמשו בגרסה משופרת של ה-J-79 מה ששיפר משמעותית את נתוני הדחף וצריכת הדלק.
הכונסים הם חצי מעגליים עם חרוט כניסה ובגאומטריה קבועה, ומתוכננים לספיקה מיטבית במהירויות על-קוליות. להבדיל ממטוסים אחרים בני התקופה, שהיו מצוידים בכונסים עם גאומטריה משתנה, כדי לווסת את כניסת האוויר למדחס ולמנוע מצב של הזדקרות מדחס , בסטארפייטר הותקנו מדפי מעקף, שאפשרו לאוויר העודף לעקוף את המדחס, כך שהמנוע קיבל בדיוק את כמות האוויר הדרושה.
בנוסף, הייתה מערכת להבי מדחס סטטיים בעלי זווית פסיעה משתנה אשר גם היו אחראים על זרימת אוויר למנוע בתנאי טיסה טמפרטורה שונים (פונקציה שנקראת T2-RESET). מערכת זאת התבררה כבעייתית וגרמה למקרים של הזדקרויות מדחס בהמראה, וכתוצאה מכך לאיבוד המטוס. המערכת תוכננה להגיב, בין השאר, לשינוי בטמפרטורה. כשמטוס שעמד זמן ממושך בשמש עבר למצב טיסה (כלומר המריא) בדגמים המוקדמים היו מקרים שהמערכת הגיבה לשינוי באופן שגוי וסנקה את כניסת האוויר למנוע, מה שהביא לכיבוי המנוע ואובדן המטוס. לרוע המזל, ריבוי המקרים של אובדן מנוע בהמראה הצטרף להחלטה תכנונית נוספת, עם תוצאות פטליות: הדגמים הראשונים של המטוס צוידו בכסא מפלט המפליט כלפי מטה, מה שהפחית מאוד את סיכויי הטייס לשרוד במקרה של תקלה במהלך ההמראה. כיסאות אלו הוחלפו מאוחר יותר בכיסאות מפלט קונבנציונליים יותר המפליטים כלפי מעלה.
מערכת זאת הוחלפה ביחידת בקרת דלק, אשר תפקידה היה לחשב את כמות הדלק שצריך להזריק למנוע בכל רגע. יחידה זאת עושה "קיזוז" של נתון סל"ד סרק של המטוס כדי למנוע מהמנוע להזדקר בגבהים ומהירויות שונות אם הטייס מוריד את המצערת לסרק (פונקציה שנקראת גם T2-RESET בגלל עקרון החישוב הדומה). מערכת זאת גם "מקזזת מצב" יבש מלא כדי לשמור על זרימת אוויר תקינה בתנאים של גובה רב ומהירות נמוכה (פונקציה שנקראת T2-CUTBACK).
כדי להניע את המטוס על הקרקע, הותקן מתנע אוויר. המתנע הוא מעין טורבינה קטנה שיושבת על הציר הראשי של המנוע. כשמזרימים אוויר דרך המתנע, הוא מסתובב ומסובב את הציר הראשי. עם הציר הראשי מתחיל להסתובב המדחס. לחץ אוויר בא מתחנה חיצונית המחוברת למטוס לפני ההתנעה, ולאחר ההתנעה הטכנאי מנתק את צינור האוויר. כאשר לחץ האוויר במדחס מגיע לגובה מתאים המצת מצית את הדלק בתא הבעירה, שמניע את המדחס. בצורה זאת המטוס יכול להניע בלי מתח, חיצוני או פנימי.
בשל חוסר יכולת לשאת דלק בתוך הכנפיים, כמו בשאר מטוסי הסילון, כל הדלק נישא בתוך גוף המטוס. כל תא חופשי מנוצל לטובת נשיאת דלק אפילו השטח הקטן סביב לכונסים היה מלא בדלק.
כיסא מפלט.
דגמים מוקדמים של המטוס עשו שימוש בכיסא מפלט שהפליט כלפי מטה במקום כלפי מעלה, כמו שהיה נהוג במפציצים מגביהי טוס. הסיבה לכך הייתה החשש שכיסא שיפליט כלפי מעלה לא יעלה מספיק מהר כדי למנוע את פגיעתו בזנב הגבוה. סיבה נוספת היא, שהפלטה כלפי מטה אפשרה יצירת תא טייס פשוט. אולם, תצורת הפלטה זו סיכנה כל טייס שחווה מצב חרום בגובה נמוך, ו-21 טייסי חיל האוויר האמריקאי נהרגו בגללה. תוך זמן קצר, הוחלף הכיסא בדגם בעל צורת הפליטה קלאסית המרטין בייקר אפס-אפס, שיכל להפליט טייס בבטיחות, גם בגובה אפס.
אוויוניקה.
ה-F-104 האמריקאיים היו מצוידים במכ"ם AN/ASG-14T, ברדיו AN/ARC-34 UHF ובמערכת TACAN. הדגם המאוחר יותר, שנמכר לחוץ לארץ, כלל מכ"ם ה-Autonetics NASARR, כוונת תת-אדום בסיסית, ומערכת ניווט אינרציאלית מדגם Litton LN-3.
ב-1960 פיתחה לוקהיד דגם משופר עבור חיל האוויר האיטלקי - ה-F-104S, שיכל בעזרת מכ"ם מדגם NASARR R21-G לשגר טילים בעלי עקיבת מכ"ם חצי אקטיבית, כגון AIM-7 ספארו ו-Selenia Aspide. האוויוניקה הנוספת שהייתה על המטוס חייבה הורדת התותח מהדגם. בשלהי שנות ה-80, עברו המטוסים השבחה, במסגרתה הותקנו בהם מכ"מים משופרים וקומפקטיים מדגם Fiat R21G/M1.
חימוש.
F-104 היה המטוס הראשון שעשה שימוש בתותח M61 וולקן. התותח היה בעל קליבר 20 מילימטר ובעל קצב אש של 6,000 פגזים בדקה. התותח הותקן בחלקו השמאלי של חרטום המטוס, ואליו חובר תוף בעל קיבולת של 725 פגזים, שהותקן מאחורי תא הטייס. התותח היה חסר בכל הדגמים הדו מושביים של המטוס ובחלק מהדגמים האחרים, כאשר בדרך כלל את מקום התוף מילא תא דלק נוסף.
המטוס היה יכול לשאת שני טילי AIM-9 סיידווינדר בשתי נקודות בקצות הכנפיים. בדגם האיטלקי (דגם S) הייתה יכולת נשיאת שני טילי AIM-7 ספארו נוספים בשתי נקודות מתחת לכנפיים.
החל מדגם C והלאה, הותקנו בכל מטוס שלושה פיילונים, אחד בגחון המטוס ושניים מתחת לכנפיים, שהיו מיועדים לטילים, לפצצות קונבנציונליות ולרקטות. בדגם S, הותקנו עוד שני פיילונים מתחת לכונסים ושניים נוספים מתחת לכנפיים, בסה"כ תשעה פיילונים.
המטוס היה יכול לשאת חימוש מגוון ביותר.