Fjellvåken er mellom 54 og 60 cm lang og har et vingespenn på ca. 1,3 m. Vekten er omkring 1 kilo. Den kjennes lett igjen i flukt med sin lyse underside og mørke flekker på hver vingeknoke. Fuglearten har et kjennelig skrik. Et mjauende og klagende «piijæh». Hann og hunn er stort sett like, men hunnen kan være en anelse større. En forskjell er på stjerten. Hannen har gjerne et bredt bånd helt ytterst på den ellers kritthvite stjerten og flere mye smalere bånd lenger inn på stjerten, hunnen har bare ett helt ytterst.