Его отец Григорий Дмитриевич Дьяков был полным георгиевским кавалером. После того, как семью раскулачили, их сослали вначале в Пермскую, позднее в Свердловскую область. Отца арестовали, затем расстреляли. Помимо Федора, в семье было еще трое детей — Мария, Пётр и Александр. Им удалось вернуться обратно домой в Ростовскую область.