Ballard grenser i nord og øst til Crown Hill, Greenwood, Phinney Ridge og Fremont, mens Lake Washington Ship Canal i sør skiller den fra bydelene nærmere sentrum. I vest grenser Ballard til Shilshole Bay ut mot Puget Sound.