1939年1月1日、大佐(Kapitän zur See)に昇進。1939年4月29日から1940年9月3日まで、重巡洋艦アドミラル・ヒッパーの艦長を務めた。さらにヴェーザー演習作戦に参加し、1940年4月8日にはノルウェー沖で英駆逐艦グローウォームを撃沈している（トロンヘイム沖海戦）。この海戦の後、ハイエは英海軍本部に対して赤十字社経由でグローウォーム艦長中佐の勇気を称える電報を送っている。1940年6月から8月にかけてノルウェー海上で複数の巡洋艦部隊を率いて作戦行動にあたった。1941年1月18日にはトロンヘイム沖海戦での戦功に対して騎士鉄十字章が授与されている。