Charles era el hijo mayor del general Charles FitzRoy y Frances Mundy.