Родился в традиционной моравской мещанской семье. Его дед Франтишек Фиала был юристом, который во время Первой республики работал главный советник политического управления в гетманствах Острава, Годонин (район) и Оломоуц, позднее работал как государственный советник в Брно. Бабушка Франтишка со стороны его отца, была еврейкой, и целая семья погибла в . Отец и дядя Петра Фиалы, не попадали в концентрационный лагерь до 1944 года, потому что были евреями не полностью. После войны, отец Петра Фиалы вступил в Коммунистическую партию Чехословакии, однако покинул её в 1956 году, после событий в ВНР. Мать Петра Фиалы, Зденка работала клерком, позже она вышла на пенсию по инвалидности из-за рака.