Hans familie var av walisisk opprinnelse og han overtok familiegården da faren døde. Hans oldefar Richard Floyd ble født i Brecknockshire, Wales rundt 1620 før han emigrerte til USA og slo seg ned i New York-området. Floyd deltok i de tidlige stadier av den amerikanske uavhengighetskrigen, og ble forfremmet til generalmajor før han gikk over til politikken. Han var en delegat fra New York til den første kontinentale kongressen. Floyd satt i denne stillingen fra 1774 til 1776.