Henry (Tobey Maguire) er en mann tidlig i trettiårene som tenker tilbake på Labor Day da han var tretten år gammel. 13-årige Henry (Gattlin Griffith) bor da med sin enslige mor Adele (Kate Winslet) i New Hampshire. Henrys mor har sykdommen agorafobi, og de er dermed ikke ute blant folk så mye. Henry tror at helgen kommer til å være den samme som hvilken som helst annen helg - se på TV, leke med kjælehamsteren sin og fantasere om jentene i klassen.