Den lågfrekventa aktiva sonarn, godkänd 2012, används för att upptäcka fiendens ubåtar.
Men det kan också skada valar, delfiner och valrossar som är beroende av undervattensljud för att navigera, fånga byten och kommunicera, enligt miljögrupper.
Fallet kommer nu att skickas tillbaka till en lägre domstol för vidare behandling.
År 2012 tillät den nationella marina fiskeriförvaltningen marin sonaranvändning men krävde att den skulle stängas eller skjutas upp när ett marint däggdjur upptäcktes nära fartygen. Höga ekolodspulser förbjöds också nära kuster och i vissa skyddade vatten.
Miljögrupper, ledda av Naturresursförsvarsrådet, lämnade in en stämningsansökan och hävdade att godkännandet bröt mot lagen om marint däggdjursskydd.
Den federala appellationsdomstolen i San Francisco fastslog att de godkännanderegler som beviljats den amerikanska flottan inte uppfyllde en del av skyddsakten som krävde att programmet skulle ha "minst möjliga negativa effekter på marina däggdjur".
Samtidigt som man ansåg att flottan hade försökt följa riktlinjerna drog man slutsatsen att fisketjänsten "inte gav tillräckligt skydd åt områden i världens oceaner som av sina egna experter utpekades som biologiskt viktiga".
Enligt experter genererar de sonarsystem som flottan använder ljudvågor som kan nå 235 decibel - ett högt rockband når omkring 130.
Dessa ljudvågor kan färdas hundratals kilometer under vatten och kan behålla en intensitet på 140 decibel så långt som 300 kilometer från källan.
Även om det är svårt att hitta direkta samband, tror en del forskare att användningen av ekolod har förändrat valarnas beteende, som har observerats simma bort, ibland hundratals kilometer, och snabbt förändrat deras djup och strandat sig själva.
Sonar godkänd för användning av den amerikanska flottan bröt mot marin lag, en amerikansk appellationsdomstol har beslutat.