בשנת 1938 עבד היידקר בווינה, בסטודיו לצילומים של אלבין קובה (Albin Kobé). לאחר סיפוח אוסטריה לגרמניה הנאצית נקרא ג'ו היידקר לבדיקה לקראת גיוס בגרמניה, וגויס ביום הראשון למלחמת העולם השנייה באירופה, בספטמבר 1939 השתתף במערכה על כיבוש פולין. במאי 1940 השתתף בקרב על צרפת. בשנת 1941 התחתן עם העיתונאית מריאן סטבר (Marianne Steber) במינכן. באותה שנה קיבל קידום למש"ק. הוא הועבר לוורשה כטכנאי מעבדות צילום ביחידת תעמולה. שם צילם בסתר תמונות בגטו ורשה. התמונות פותחו בסתר ופורסמו רק בשנת 1981. תצלומיו הם עדות לזוועות הנאציות ולתנאי החיים הלא אנושיים בגטו. בשנת 1944 הצטווה לעבור ליחידת פנצרייגר. הוא צילם את חורבות ורשה הריקות לאחר מרד ורשה.