Han tok eksamen ved Boston College i 1936 og var medlem av Representantenes hus i Massachussetts 1936-1953. O'Neill jr. var minoritetsleder 1947-1949 og speaker 1949-1953.