ウッドフォード郡
ビュフォードはケンタッキー州ウッドフォード郡で生まれたが、8歳の時からイリノイ州ロックアイランドで育てられた。父はイリノイ州で著名な民主党の政治家であり、エイブラハム・リンカーンとは政敵だった。ビュフォード家は歴史ある軍人一家だった。祖父のエイブラハム・ビュフォード大佐（ワックスホーの虐殺での大陸軍指揮官）と大叔父はアメリカ独立戦争でバージニア連隊に従軍した。異母兄弟のナポレオン・ボナパルト・ビュフォードは北軍の少将になった。従兄弟のエイブラハム・ビュフォードは南軍の騎兵准将になった。