Jabarkan Kehidupan awal dari Floyd Patterson

Patterson lahir pada tanggal 4 Januari 1935 dalam sebuah keluarga miskin di Waco, North Carolina. Dia adalah salah satu dari sebelas bersaudara. Savannah Joe Patterson adalah sepupu pertamanya yang berasal dari luar Arkansas, dia pergi dan berkunjung pada musim panas tahun-tahun awal. Sewaktu masih kecil, Floyd adalah anak yang nakal dan bermasalah. Keluarganya pindah ke Brooklyn, New York, dan di sana Floyd menjadi anak suka membolos dan pencuri kecil. Pada umur 10 tahun dia dikirim ke Wiltwyck School for Boys, sebuah lembaga pemasyarakatan untuk anak-anak di West Park, New York, yang dia anggap telah mengubah hidupnya. Dia tetap di sana selama hampir dua tahun. Dia belajar di sekolah menengah atas di New Paltz, New York dan di sana meraih kesuksesan dalam semua olahraga.

Patterson mulai bertinju pada umur 13 tahun dan berlatih dengan Bedford-Stuyvesant Boxing Association Gym. Tiga tahun kemudian dia memenangkan medali emas di divisi kelas menengah pada Olimpiade Helsinki 1952. Pada tahun yang sama dia juga memenangkan Kejuaraan Amatir Nasional Kelas Menengah  dan Kejuaraan New York Golden Gloves Kelas Menengah. Pada saat itu dia dilihat oleh Cus D'Amato, dan berlatih di Gramercy Gym.

Adik laki-laki Patterson yang bernama Raymond (lahir tahun 1942) juga menjadi petinju profesional di divisi kelas berat dan tinggal Gothenburg, Swedia, sejak tahun 1965.