Når Joe Chandler (Kyle Chandler) dør blir hans lillebror Lee (Casey Affleck) verge for Joes sønn Patrick (Lucas Hedges). Lee drar tilbake til hjembyen Manchester-by-the-Sea og må takle både hans separerte kone Randi (Michelle Williams) og samfunnet der.