Em 1939, foi substituído como aeronave a bordo da k"riegsmarine" primeiro pelo He 114, e logo depois pelo Arado Ar 196 , mas mesmo após sua substituição o He 60 permaneceu em serviço com várias unidades de reconhecimento costeiro quando a Segunda Guerra Mundial começou.  Foi retirado do serviço de linha de frente em 1940, mas voltou a ser utilizado após a invasão alemã da União Soviética em 1941, sendo usado para o trabalho de patrulha costeira nos mares Báltico e Mediterrâneo . Todos os exemplares foram retirados de serviço em outubro de 1943.