Jabarkan Awal Kehidupan dari Sugar Ray Robinson

Robinson lahir dengan nama Walker Smith Jr. di Ailey, Georgia dari pasangan Walker Smith Sr. dan Leila Hurst. Robinson adalah bungsu dari tiga bersaudara; kakak perempuannya Marie lahir tahun 1917, dan kakak lainnya Evelyn lahir tahun 1919. Ayahnya adalah petani jagung, kacang dan kapas di Georgia, yang memindahkan keluarganya ke Detroit di mana ia mendapatkan pekerjaan di konstruksi. Menurut Robinson, Smith Sr. kemudian melakukan dua pekerjaan untuk menghidupi keluarganya, yaitu sebagai pengaduk semen dan pekerja sanitasi. "Ia bangun dan berangkat pukul enam pagi dan pulang saat tengah malam. Enam hari dalam seminggu. Satu-satunya hari aku melihatnya hanya di hari Minggu ... Aku selalu ingin bersamanya lebih lama."

Orangtuanya berpisah, dan Robinson pindah bersama ibunya ke New York di kawasan Harlem di usia 12 tahun. Robinson awalnya bercita-cita menjadi dokter, tapi setelah keluar dari DeWitt Clinton High School di kelas sembilan, ia memutuskan menjadi petinju.

Saat usianya 14 tahun, ia mencoba mendaftar ke turnamen tinju pertamanya, tapi ia diberi tahu bahwa ia membutuhkan Kartu Anggota AAU (Amateur Athletic Union) yang tidak dapat dia peroleh secara legal sampai dia berusia 16 tahun. Dia menghindari persyaratan usia AAU dengan menggunakan kartu ID dari seorang pemuda bernama Ray Robinson, yang telah berhenti bertinju. Kemudian, Walker memulai karier pertarungan amatirnya dengan nama itu — dan nama itu melekat hingga menjadi nama resminya. Belakangan, ketika seorang wanita di antara hadirin di sebuah pertandingan di Watertown, New York, mengatakan bahwa dia "sweet as sugar", lahirlah nama "Sugar Ray Robinson".

Robinson mengagumi Henry Armstrong dan Joe Louis saat muda, dan ia tinggal di blok yang sama dengan Louis di Detroit saat Robinson berusia 11 dan Louis 17 tahun. Di luar ring, Robinson sering  terlibat masalah saat remaja, dan berurusan dengan geng jalanan. Ia menikah di usia 16 tahun dan memiliki seorang putra bernama Ronnie. Kemudian mereka bercerai saat Robinson berusia 19 tahun.

Robinson menjuarai Kejuaraan New York Golden Gloves Kelas bulu tahun 1939 (mengalahkan Louis Valentine dengan angka 3 ronde), dan menjuarai Kejuaraan New York Golden Gloves Kelas ringan tahun 1940 (mengalahkan Andy Nonella dengan KO di ronde 2).