“Let's” nada mais é do que a forma abreviada de “let us“. Portanto, quando dizemos “let's go”, trata-se apenas da contração de “let us go”.