I 1184 lå Kong Sverre og hans hær med 20 skip her før slaget ved Fimreite. Andre har også lagt værfast i Rutle, blant annet C. Braems i 1673 og Johannes Lillienskjold i 1668. Under andre verdenskrig var det mange tyskere, og små leirer i området. Grunnen til at Rutle var en bra plassering for tyskerne, var fordi det var god oversikt over fjorden.