Etter at Heye sluttet på skolen, meldte han seg med en gang inn i Kaiserliche Marine. Fra april 1939 til september 1940 var han kommandør på den tunge tyske krysseren Admiral Hipper. Den 8. april 1940, da krysseren og andre tyske skip var på vei for å sette i land tropper i Trondheim, møtte flåteavdelingen den engelske jageren HMS «Glowworm» som ble senket. Skipets kaptein, Gerard Roope, druknet mens han utrettelig strevde med å redde andre av mannskapet som var havnet i sjøen.