Jabarkan Pensiun dari Floyd Patterson

Setelah pensiun, dia dan Ingemar Johansson menjadi sahabat baik. Setiap tahun mereka saling berkunjung dengan terbang menyeberangi Samudra Atlantik. Patterson menjabat dua kali sebagai Ketua New York State Athletic Commission. Dia juga dimasukkan ke dalam International Boxing Hall of Fame tahun 1991.

Patterson tinggal lama di New Paltz, New York, bersama dengan istri keduanya, Janet Seaquist. Mereka dikaruniai dua putri bernama Jennifer dan Janene. Pada tahun 1982 dan 1983 dia mengikuti Stockholm Marathon bersama dengan Ingemar Johansson. Dia menyelesaikan 1983 New York City Marathon dalam waktu 3:35:27.

Putra yang diadopsinya, Tracy Harris Patterson, menjadi juara dunia tinju era 1990-an dan sempat dilatih oleh Petterson. Mereka adalah ayah dan anak pertama yang memenangkan gelar juara dunia tinju. Pattersonn juga melatih Donovan "Razor" Ruddock, petinju kelas berat asal Kanada, pada tahun 1992 untuk mempersiapkan pertandingannya melawan Greg Page, Phil Jackson, dan Lennox Lewis.

Lapangan sepak bola New Paltz High School diberiinama namai "Floyd Patterson Field" pada tahun 1985.