В 1754 году Брайан Ферфакс работал клерком у своего зятя Джона Карлайла (1720—1780) в Александрии, штат Виргиния, и был назначен заместителем клерка округа Фэрфакс . Брайан Ферфакс служил лейтенантом в ополчении Джорджа Вашингтона в роте Джорджа Мерсера в начале франко-индейской войны, но он ушел в отставку в 1756 году. Позже Брайан Ферфакс служил судьей округа Фэрфакс одновременно с Джорджем Вашингтоном. Ферфакс был заядлым охотником на лис, и они с Вашингтоном часто ездили на охоту вместе.