5月21日、ケリーを含む第5駆逐群の駆逐艦5隻はマルタを離れて戦闘が行われているクレタ島海域へと向かった。22日16時に第5駆逐群はクレタ島沖でA1部隊と合流する。第5駆逐群は二つに分けられ、ケルヴィンとジャッカルは撃沈された軽巡洋艦グロスターの生存者の救助を、ケリーはカシミール、キプリングと共に同様に撃沈された軽巡洋艦フィジーの生存者救助に向かった。結局救援活動は時機を逸していたために、第5駆逐群は再度合流の上でキッサモとカニア湾の哨戒を命じられた。そのうちケルヴィンとジャッカルの2隻は、カニア湾で目撃された正体不明の光を調査するために別行動をとることになった。ケリーとカシミール、キプリングは2隻とは別にカニア湾へ向かったが、途中でキプリングが舵機故障のため引き返した。カニア湾に入ったケリーとカシミールは、兵員輸送中の（地中海東部で使用される伝統的な小舟）を発見し撃破した。続いて2隻はニュージーランド軍部隊の戦闘と撤退を支援するためマレメに短時間艦砲射撃を加えると後退を開始した。その途中で再び敵のカイークを発見し撃沈した。