Woodford County
ビュフォードはケンタッキー州ウッドフォード郡で、フランシス・W・カートリーとその夫ウィリアム・B・ビュフォード（1781年-1848年）の息子として生まれた。先祖はフランスでの迫害から逃れてイングランドに移り、その後1635年にアメリカに移民した、ボーフォールという姓のユグノーの家系だった。アメリカ独立戦争の時に大陸軍の士官だった大伯父、エイブラハム・ビュフォードの名前を貰った。その従兄弟ジョン・ビュフォードやナポレオン・B・ビュフォードは近所で育ち、南北戦争では北軍の将軍になった。