Franz Xaver Walter var sønn av Johann Baptist von Walter og hans hustru Marie født Oswald.