সার্গেই ছোটবেলার কিছুসময় মস্কো শহরে বেড়ে উঠেন। রাশিয়া অর্থাৎ তৎকালীন সোভিয়েত ইউনিয়নে ইহুদীদের অবস্থা ছিলো শোচনীয়। ইহুদীদের উপর চলমান নির্যাতন এড়াতে ব্রিন পরিবার ১৯৭৯ সালে আমেরিকার মেরীল্যান্ডে চলে আসেন। যদিও আমেরিকায় আসার ব্যাপারে সার্গেই ব্রিনের মায়ের মত ছিলো না।