Kevin W. Williams

Jerry D. Ball 

Civil Aerospace Medical Institute

Federal Aviation Administration

Oklahoma City, OK 73125

November 2003

Final Report

This document is available to the public

through the National Technical Information

Service, Springfield, Virginia 22161.

 

Office of Aerospace Medicine

Washington, DC 20591

Usability and Effectiveness of 

Advanced General Aviation 

Cockpit Displays for 

Instrument Flight Procedures

DOT/FAA/AM-03/17
NOTICE

This document is disseminated under the sponsorship of

the U.S. Department of Transportation in the interest of

information exchange. The United States Government

assumes no liability for the contents thereof.
i

������������������������������������

��������������� ����������������������������� ����������������������������

�����������������

���������������������� ���������������

������������������������������������������������ ��������������

����������������������������������������������������������� ���������������������������������

�������������� ���������������������������������������

���������������������

��������������������������������������������� ���������������������������

��������������������������������������

���������������

������������������������

���������������������������

���������������������������������������� ���������������������������������������

���������������������������������

��������������������������������

�����������������������������

���������������������� ����������������������������

������������������������

��������������������������������������������������

��������������

���������������������������������������������������������������������������������������������������������������

�����������������������������������������������������������������������������������������������������������

��������������������������������������������������������������������������������������������������������

������������������������������������������������������������������������������������������������������������

��������������������������������������������������������������������������������������������������������������

��������������������������������������������������������������������������������������������������������������

��������������������������������������������������������������������������������������������������������

������������������������������������������������������������������������������������������������������������

����������������������������������������������������������������

��������������� ����������������������������

����������������������������������

���������������������������������������

�������������������������������

�����������������������������������

�������������������������������

����������������������������������

���������������

���������������������������������������� �������������������������������������� ������������������ ����������� �

������������� ������������� ���

����������������� �������� ������������������������������������������

1

USABILITY AND EFFECTIVENESS OF ADVANCED GENERAL AVIATION COCKPIT

DISPLAYS FOR INSTRUMENT FLIGHT PROCEDURES

INTRODUCTION

More than three years ago, the Federal Aviation 

Administration instituted the Alaska Capstone Program in an effort to improve flight safety in Alaska 

(FAA, 2003). The Capstone Program provided for 

the installation of new cockpit avionics for over 150 

general aviation (GA) aircraft in the southwest region 

of Alaska, centered around the town of Bethel. The 

avionics system, developed by UPS Aviation Technologies, consisted of a multi-function display (MFD) unit, 

the Apollo MX-20, and an accompanying Global Positioning System (GPS) display, the Apollo GX-60. In 

addition, each aircraft was equipped with a Universal 

Access Transceiver (UAT), which provided datalink communication between the aircraft and a ground station 

Figure 1: Capstone Avionics displays. The MX-20 display is shown on top and the GX-60 

GPS unit is shown below it.
2 

or from one aircraft to another aircraft. Figure 1 shows 

the Capstone avionics displays. 

The two Capstone displays provided pilots with a moving map that shows ownship (i.e., own aircraft) position. 

Routes entered into the GPS display are presented as a 

magenta line on the moving map. The map can display 

an instrument flight chart, with airways, intersections, 

airports, and other navigational points or a visual flight 

rules (VFR) sectional chart that includes terrain features. 

Many types of information can be overlaid on the map 

at the pilot’s discretion. For example, the display can also 

show the relative height of terrain in the form of red, 

green, yellow, or black colored blocks. Using a custom 

map page, pilots can overlay terrain with airport and 

other information. The display also provides traffic and 

weather information to the pilot. Traffic information is 

dependent on a ground/air/space infrastructure known 

as Automatic Dependent Surveillance - Broadcast, or 

ADS-B. In addition, weather information is uplinked 

to the pilot through a system known as Flight Information Services - Broadcast, or FIS-B, from weather 

reporting stations.

Interviews with pilots participating in the Capstone 

Program have provided significant insight into the impact 

of this technology on flight operations (Williams, Yost, 

Holland, & Tyler, 2002). The pilots interviewed have 

been mostly positive. Still, some system features have been 

identified as needing improvement. While information 

gained from the interviews will assist in the transition of 

this type of technology to aircraft in the rest of the U.S., 

individuals participating in the Capstone Program were 

all 14 CFR Part 135 pilots (i.e., professional pilots), flying 

almost every day of the year. Consequently, the majority 

of these pilots fly over 100 hours each month, and nearly 

all (95%) are instrument rated. 

This leads to the obvious question of the impact of 

this kind of technology on the 14 CFR Part 91 (i.e., nonprofessional) pilot population. Part 91 pilots typically fly 

much less often, and a significant portion of this population does not have an instrument rating (FAA, 2000). In 

addition, the Part 91 population is more diverse, having 

a wider range of total flight experience and ages. What is 

needed is an examination of the effect of these displays 

on the Part 91 pilot population. The present study was 

designed to identify human factors that should be considered during the deployment of this technology to the 

entire general aviation community and in the development of future displays.

When examining Part 91 flight activities, two pilot 

groups should be considered before transitioning this 

equipment to the GA pilot population. One group consists 

of low-time pilots who would only use the displays in 

VFR conditions because they do not have an instrument 

rating. While their flight tasks are simpler, they typically 

have fewer resources to assist them and, as such, represent an interesting group for study. A future study will 

examine this pilot group.

The other group consists of pilots who will use the 

multi-function navigational displays in instrument flight. 

Instrument flight is one of the most complex aspects of 

single-pilot operations. This complexity is exacerbated 

when using a GPS display because of the type and amount 

of user interaction required to operate the equipment. 

Prior research has indicated that GPS displays are among 

the most complex equipment that most Part 91 pilots 

interact with in the cockpit (Williams, 1999a), and that 

GPS user-interface design deficiencies tend to exacerbate 

the difficulty of using these displays (Nendick, 1995; 

Nendick & St.George, 1995; Heron & Nendick, 1999; 

Wickens, 2000; Williams, 1999a, 1999b). The current 

study was designed to examine the usability of these 

advanced displays for instrument flight activities and to 

compare the effect that the displays have during instrument flight on pilot performance and workload relative 

to standard navigation instruments. The study focuses on 

single-pilot operations during normal to high workload 

conditions, including a failure of the vacuum-driven 

cockpit displays. 

METHODS

Participants

Sixteen instrument-rated pilots were recruited from the 

Oklahoma City metropolitan area and were compensated 

monetarily for their participation. All of the pilots were 

male, with the average age of 29.75 years, a median age 

of 25 years, and a range in ages from 21 to 69 years. The 

participants were asked to estimate the number of flight 

hours for several categories of flight. They were also asked 

whether they had used a cockpit GPS or multi-function 

display and if they had used a flight simulation program 

similar to the one employed in the study. This information is summarized in the Results section.

Design

In the current study, pilots were asked to plan and fly 

two separate flights in instrument conditions. During 

one flight, pilots were permitted to use only a standard 

navigational instrument (i.e., VOR), instrument charts, 

and sectional charts. During the other flight, pilots were 

asked to conduct the flight using the GX-501 GPS and 

MX-20 multi-function displays. Both flights included a 

1

 There is no difference in the user-interface of the Apollo GX-60 

and GX-50 displays. The GX-60 display has additional functionality 

that was not required for the experiment.
3

number of instrument procedures commonly required 

during instrument flight, as well as a vacuum failure, 

designed to subject the pilot to a high workload while 

interacting with the displays.

Measurement Instruments

Usability, workload, and pilot performance were gauged 

using a number of subjective and objective measures. 

Usability measures primarily focused on the GX-50 

and MX-20 displays. No evaluations of usability of the 

VOR navigational display were performed. A usability 

questionnaire was administered to each pilot to gauge 

various aspects of the GX-50 and MX-20 displays. Six 

rating criteria (effectiveness, ease of use, workload, cues 

and prompts, system feedback, and head-down time) 

were scored using a 5-point Likert scale for each of the 

display’s features and functions. A copy of the questionnaire is reproduced in the appendix. In addition, button 

presses were videotaped to measure interaction errors. An 

experimenter was available to assist the pilot on use of 

the displays during the flights. Experimenter assistance 

on tasks was recorded. 

The NASA TLX subjective workload questionnaire 

(Hart & Staveland, 1988) was administered to each pilot 

to get a subjective measure of workload for several of the 

in-flight tasks. NASA TLX is a six-item questionnaire 

measuring mental effort, physical effort, temporal pressure, perceived performance, total mental and physical 

effort, and frustration. Immediately after a selected inflight task, the pilot was asked to give a score (1 meaning 

low and 10 meaning high) for each of the six items.

Equipment

All of the flights were conducted in the Civil Aerospace Medical Institute’s Basic General Aviation Research 

Simulator (BGARS), comprised of seven networked 

PCs using Microsoft’s Flight Simulator 2002, five 

out-the-window views, and moderate-fidelity controls 

(Precision Flight Systems – Dual Professional Flight 

Console). Flight performance data were recorded four 

times per second and consisted of latitude, longitude, 

altitude, ground speed, heading, bank, cross-track error, 

elapsed time, and flight segment. The simulator was 

configured as a Cessna 182RG for this study. Figure 2 

shows a picture of the simulator. Figure 3 shows how 

the GPS and MFD were situated in relation to the rest 

of the aircraft instruments.

Figure 2: Basic General Aviation Research Simulator (BGARS).
4 

Procedure

Pilots filled out the required consent forms and then 

were briefed about the experimental protocol. Each pilot 

received approximately two to three hours of training on 

the GX-50 and the MX-20. The training began on the 

GX-50 by demonstrating the differences between the two 

types of keys (smart and hard keys) and the functions associated with each key. Specifically, the pilots were taught 

how to perform a series of tasks that they later would be 

required to perform during the flight. During the training, the pilots were required to demonstrate minimal 

proficiency with the GX-50, measured as one unassisted 

completion of the task, to perform the following tasks:

• Go direct to a waypoint;

• Extract information about various waypoints;

• Build, edit, and modify an active or saved flight 

plan;

• Navigate using the course deviation indicator (CDI) 

on the GPS display;

• Set up and enter holding procedures;

• Load and change approaches; and

• Perform missed approach procedures. 

Next, the pilots were shown how to use the MX-20. The 

four different map modes (VFR, IFR, Terrain, and Custom) 

were shown to the pilots. Within each mode, the menu 

structure was explained, and detailed instructions were 

given on how to select the map orientation (North-up, 

track-up, and desired track-up) and appearance (declutter options and overlays). Last, the flight plan page was 

explained to each of the pilots. Breaks were provided to 

the participants as required.

Following the training, a 20-minute warm-up flight 

was given to the pilots to allow time for familiarization 

with the simulator and to be sure that the pilots could 

perform the necessary instrument flight tasks. At the 

conclusion of the warm-up flight, a 15-minute break 

was given to each pilot.

The experimental procedure required that the pilots fly 

two similar IFR flight plans in instrument meteorological 

conditions. When following one flight plan, pilots were 

required to navigate using only the GX-50 and MX-20, 

while the other flight plan required the pilots to navigate 

using only a VOR head. GPS approaches were flown 

with the GX-50 and MX-20, and VOR approaches 

were flown in the VOR condition. Pilots had access to 

all appropriate paper charts (U.S. Terminal Procedures 

charts, Sectional Aeronautical chart, and IFR En Route 

Low Altitude charts) during both flights. Pilots were free, 

both before and during the flight, to set up and adjust 

their MX-20 map display at their discretion.

The first flight scenario consisted of flying from 

Hanscom Field, in Bedford, Massachusetts (BED), to 

Figure 3: Close-up view of aircraft instruments and GPS/MFD displays (to the right).
5

the Gardner (GDM) VORTAC. Shortly after takeoff, 

pilots were redirected to fly the 100-degree radial inbound at GDM to avoid a restricted flight zone. Before 

reaching GDM pilots were given instructions to hold 

at the HURLY intersection on the 298-degree radial 

and then fly an approach into Keene Dillant-Hopkins 

(EEN) airport. At the missed approach point, pilots were 

instructed by air traffic control (ATC) (the experimenter) 

to fly the published missed approach course back to the 

Keene VORTAC (EEN); before reaching Keene, they 

were directed to fly an approach into an alternate airport 

(Jaffery, AFN). Figure 4 shows the area of the flight. The 

thick shaded lines show the basic flight segments used to 

measure flight path error during the flight. 

The second flight scenario was the same as the first 

flight except the pilots were required to hold at the LAPEL intersection on the 246-degree radial instead of at 

the HURLY intersection. ATC then cleared the pilots for 

an approach into Orange County (ORE). At ORE, the 

pilots flew the published missed approach. Pilots were 

then instructed to fly an approach into the alternate 

airport, KEEN. Figure 5 depicts the flight area with 

shaded lines indicating flight segments used to measure 

flight path error. 

During both flights, a vacuum system failure occurred 

when the pilots were 10 miles from the alternate airport. 

The pilots were required to fly the approach into the alternate airport using partial-panel instrumentation and/or 

the GX-50 and MX-20. Data collection was terminated 

shortly before the aircraft reached the alternate airport, 

and pilots were not required to land.

The weather was set to 3⁄4 of a mile visibility for both 

flights. Winds were 10 knots from 260 degrees, which 

was a slight crossing headwind for most of the flight. Each 

flight scenario lasted approximately 75 minutes, and a 

15-minute break was given to each pilot between the flight 

scenarios. The order of the GPS and VOR navigation 

conditions and flight plans was counter-balanced across 

participants. At the conclusion of the second flight, the 

usability questionnaire was administered to the pilots, 

and then they were debriefed.

Hypotheses

• It was expected that measures of workload would 

generally favor the standard flight instruments. This 

expectation was based on the literature (cited above) 

documenting the complexity of the GPS and specific 

user-interface design problems. However, it was possible that workload would be mitigated somewhat due 

to the presence of the MX-20 moving-map display. 

• In contrast to workload, it was expected that flight 

performance measures would generally favor the GX50/MX-20. Prior research has shown that the use of 

horizontal situation displays such as the MX-20 improves navigation performance (Haskell & Wickens, 

1993; Wickens & Prevett, 1995). 

Figure 4: First flight scenario.
6 

• Finally, it was expected that the use of the GX-50/

MX-20 displays would have beneficial effects on both 

navigational performance and workload during the 

vacuum pump failure, because the new displays would 

compensate for the resulting loss of information (e.g., 

loss of attitude indicator and heading indicator).

RESULTS

Pilot Demographics

Flight hour estimates were collected for a number of 

flight categories. The mean, median, and range of each 

category are presented in Table 1.

In addition to flight hours, participants were asked 

to report on their use of personal computer-based flight 

simulator programs similar to the Microsoft Flight Simulator 2002 program used in the current study. Twelve 

of the sixteen pilots (75%) had used Microsoft Flight 

Simulator or a similar program. Mean total use of the 

programs was estimated as 21.43 hours. Median use was 

10 hours, ranging from 0 to 150 hours.

Participants were also asked whether they had used 

any type of GPS navigation display while flying. Eleven 

of the pilots (69%) stated they had used a GPS display. 

Mean total use time for those who had used a display 

was 25.5 hours. Median use was 16 hours. Finally, participants were asked whether they had used a moving 

map system similar to the MX-20 display used in the 

current study. Three of the pilots (19%) said they had 

used such a display prior to the study. 

Display Usability

All participants were asked to rate how easy it was to 

learn to operate the display system. Ratings were obtained 

on a 5-point scale from 1 (very difficult to learn) to 5 (very 

easy to learn). The mean rating was 3.67, with no rating 

below a 3 (i.e., average difficulty to learn). Finally, pilots 

were asked whether they would like to use the navigation 

system in a real aircraft. Twelve of the pilots (75%) said 

they would like to use the system in real flight.

After completing both of the flights, participants filled 

out the usability questionnaire. MX-20 and GX-50 features were rated according to each of 6 criteria along a 

5-point scale. A higher number indicated better usability 

for each of the criteria. The reader is directed to the Appendix for the definitions of the rating scale values. Table 

2 presents the mean ratings for the MX-20 features on 

each of the 6 usability criteria.

In the Table, the shading indicates the two highest ratings for a particular criterion. Ties occurred for some of 

the criteria. Only two mean scores fell below 3.0. These 

scores are highlighted using bold text and borders. The 

Table indicates that pilots believed that the map range 

(zoom) feature and the map information were the most 

usable aspects of the MX-20. During normal operation, 

two buttons were continuously dedicated for zooming, 

Figure 5: Second flight scenario.
7

making it easy for the pilots to alter the zoom level. The 

lowest scores for all of the MX-20 features were those 

related to head-down time. 

In addition to the functions listed in Table 2, pilots were 

asked specific questions about the usability of a number 

of other features of the MX-20. Ratings ranged from 1 

to 5 on a disagree-agree scale. These questions, and their 

mean response values, are listed in Table 3.

Looking at Table 3, we find that most of the items 

were rated highly by the pilots. Items 4, 5, and 16, which 

all dealt with situation awareness, and specifically with 

position awareness, were the most highly rated items. 

The lowest-rated item was the statement, “Prompts for 

pilot inputs, alerts, and advisories effectively attracted 

my attention.” It should be noted that pilot alerts and 

advisories were visual only, with no aural cue accompanying the alert. Of the alerts and advisories available on the 

MX-20, the only ones that the pilots regularly experienced 

during the experiment were a terrain warning flag and a 

barometric pressure confirmation.

Pilots also rated GX-50 features according to the same 

six usability criteria. Table 4 presents the mean feature 

ratings for the GX-50.

The GX-50 feature rated most usable was the Nearest 

Airport function. Pilots also were particularly satisfied 

with the display of cross-track error data. As with the 

MX-20, the lowest ratings occurred for head-down time. 

However, workload ratings were a close second.

The usability of additional features was addressed 

with specific questions, including four items (28-31) on 

the effectiveness of the MFD/GPS displays during the 

vacuum failure (see Table 5). As before, these questions 

were rated on a disagree-agree scale of 1 to 5.

The GPS usability item receiving the lowest rating 

concerned the ability of the unit to attract pilot attention for warnings and alerts. The alerts received by pilots 

during the study were messages regarding the completion 

of flight segments and warnings regarding approach to 

restricted flight areas. As with the MX-20, no aural alerts 

were issued by the GPS.

In addition to the specific usability questions, participants were asked if they had made any errors while 

interacting with the MX-20 and GX-50 displays. Five 

(31%) of the participants stated they had made errors 

with the MX-20. Seven (44%) participants admitted 

making errors with the GX-50. In general, when asked 

to comment on the errors they committed, participants 

stated they could not remember how to perform particular 

functions and so performed them incorrectly. Many of 

these pilots added that they would not have made errors 

if they had been given more time to learn how to use 

the displays.

To measure the pilot’s subjective estimates of how 

easy it was to handle the vacuum failure both with and 

without the MFD/GPS equipment, paired t-tests were 

conducted to compare item 28 with 29 and item 30 

with 31. Items 28 and 29 asked the pilots to judge how 

easy it was to control the aircraft after the vacuum failure 

while referencing only conventional navigation instruments or using the MFD/GPS. Items 30 and 31 asked 

the pilots to judge ease of navigating after the vacuum 

failure using either conventional navigation instruments or the MFD/GPS. Both paired t-tests indicated 

significant differences between the items, showing that 

pilots believed it was easier to control the aircraft after 

the vacuum failure using the MFD/GPS, t(13) = 2.88, p

�����������������������������������������

��������������������� ���������� ������������ �����������

����������� ������� ������� �������������

��������������������� ������ ������� ���������

������������������� ����� ������ ��������

���������������� ������� ������� �������������

������������������������� ������ ������� ���������

����������������������� ����� ������ ��������

������������������������������������� ������ ����� ����������

��������������������������������������� ����� ����� �������

������������������������������������� ���� ����� �������

���������������������������������� ������ ������ �����������

������������������������������������������ ����� ������ ��������

���������������������������������������� ����� ����� �������
8 

<.05, and that it was easier to navigate after the vacuum 

failure using the MFD/GPS, t(13) = 4.01, p <.05, relative 

to using conventional navigation instruments. It should 

be noted that for both tests, two of the participants did 

not respond to the items, and so their data were excluded 

from the analysis.

Display Interaction Analysis

Participants were videotaped during their interaction 

with the MX-20/GX-50 displays. These videotapes were 

reviewed so that counts could be made of the number of actions taken by participants to complete each of their tasks, 

whether or not they received help from the experimenter. 

In addition, the experimenter noted whether assistance 

was required, in the form of explicit instructions from 

the experimenter, to complete a task. Excess actions were 

computed by counting the number of actions taken to 

complete a particular task and subtracting the minimum 

number of actions required. Figure 6 shows the mean 

number of excess actions taken by participants by task. 

Looking at Figure 6, we see that participants used 

more excess button presses while interacting with the GPS 

display than when they were interacting with the MFD. 

The GPS task showing the most excess activations was 

inserting an assigned intersection into the flight plan prior 

to conducting a holding procedure. This task required 

the input of letters and numbers into the display through 

the use of both buttons and knobs. Likewise, the task 

with the second-most activations, entering the alternate 

airport into the flight plan, also required the participants 

to input letters and numbers into the display.

In addition to counting the number of excess button 

presses, experimenters recorded whether or not pilots 

required assistance to complete specific tasks. Usually, 

such assistance consisted of explicit instructions regarding 

which buttons to press and which knobs to turn. Figure 

7 shows the percentage of pilots requiring assistance to 

complete each of the tasks.

As with the excess control activations, participants had 

less trouble with the MFD than they did with the GPS. 

Again, we found that two of the most difficult tasks for 

the pilots involved entering letters and numbers into the 

GPS display. However, for every GPS task, at least 50% 

of the pilots required assistance to complete the task.

Subjective Workload Estimates

The six individual workload estimates for a task were 

averaged into a single composite workload estimate for 

that task. Figure 8 presents a bar graph of the composite 

scores for each of seven tasks, separated by display type 

(GPS/MFD vs. VOR).

A two-way analysis of variance (Flight Task x Display 

Type) was conducted on the composite workload scores. The 

only factor that reached significance was Flight Task, F(6, 

78) = 26.94, p <.01. No effect for Display Type was found, 

and there was no interaction effect. A post hoc comparison 

���������������������������������������������������������������

������������������������

������������������������������ �������

��������

��������

���

�����

�����

�������

��������

�����

�����

�����

�����

�����

����

�����

�������������������������������

����������������������������������

����� ����� ����� ����� ����� ����� �����

����������������������� ����� ����� ����� ����� ����� ����� �����

������������������������������

��������

����� ����� ����� ����� ����� ����� �����

���������������������������� ����� ����� ����� ����� ����� ����� �����

���������������������������������

��������������

����� ����� ����� ����� ����� ����� �����

����������������������������������

���������������

����� ����� ����� ����� ����� ����� �����

���������������������� ����� ����� ����� ����� ����� ����� �����

���������������������������

��������

����� ����� ����� ����� ����� ����� �����

���������������������������� ����� ����� ����� ����� ����� ����� �����

����������������������� ����� ����� ����� ����� ����� ����� �����

���������������� ����� ����� ����� ����� ����� ����� �����

���������������������� ����� ����� ����� ����� ����� ����� �����

�������������������������� ����� ����� ����� ����� ����� ����� �����

������������ ����� ����� ����� ����� ����� �����
9

�����������������������������������������������������������������

��� ���������������������������������������������������������������������������������������

�������������

����

��� ������������������������������������������������������������������������������������� �����

��� �������������������������������������������������������������������������������������

�����������������������������

����

��� �����������������������������������������������������������������������������������

����������������������������������������������

����

��� �������������������������������������������������������������������������������

��������������������������������������

����

��� ������������������������������������������������������������������������������������ �����

��� �������������������������������������������� �����

��� ������������������������������������������������������������������� �����

��� ������������������������������������������������������������������������������������� �����

���� �������������������������������������������������������������������������� �����

���� �������������������������������� �����

���� ���������������������������������������������� �����

���� ����������������������������������������������� �����

���� ������������������������������������������������������������������ �����

���� �������������������������������������������������� �����

���� ������������������������������������������������������������ �����

���� ���������������������������������������������������������������� �����

���� ����������������������������������������������������������������������������� �����

���������������������������

�

�

�

�

�

��

��

��

������

�����

������

������

������

������

������

�����

�������

������

������

������

������

����������� �����������

��������������������������������������������������������������������������������������

���������������������������������������������������������������������������������������

����������������������������������������������������������������������������������

���������������������������������������������������������������������������������������

������������������������������������������������������������������������������������

���������������������������������������������������������������������������������������

���������������������������������������������������������������������������������������

����������������������������������������������������������������������������������������

���������������������������������������������������������������������������������������������
10 

���������������������������������������������������������������

������������������������

���������������������� �������

��������

��������

���

�����

�����

�������

��������

�����

�����

�����

�����

�����

����

�����

�������������������������������

������������������������������

����

����� ����� ����� ����� ���� ���� ����

���������������������� ���� ����� ����� ����� ����� ����� ����

��������������������� ����� ����� ���� ����� ����� ����� �����

������������������������������� ����� ����� ����� ���� ���� ���� ����

�����������������������������

��������������������������

����� ����� ����� ����� ����� ����� ����

�����������������������������

����������������

����� ����� ����� ����� ����� ����� �����

�����������������������

������������

����� ����� ����� ����� ����� ����� ����

������������������� ����� ����� ����� ����� ����� ����� ����

������������������������������

�����

���� ���� ���� ���� ���� ���� ����

��������������� ����� ����� ����� ����� ����� ����� ����

�������������������������� ����� ����� ����� ����� ����� ���� ����

��������������������������

������������

����� ����� ����� ����� ���� ���� ����

����������������������������

���������

���� ���� ���� ���� ���� ���� ����

������������ ���� ���� ���� ���� ���� ����

�����������������������������������������������������������������������������������������������

��� ������������������������������������������������� �����

��� ������������������������������������������������������������������������������������������� �����

��� ���������������������������������������������������������������������������������� �����

��� ������������������������������������������ �����

��� ����������������������������������������������������������������������������� �����

��� ���������������������������������������������������������������������������������������������� �����

��� �������������������������������������� �����

��� ������������������������������������������������������� �����

��� ������������������������������������������������������������ �����

���� �������������������������������������������������������������������������������� �����

���� �������������������������������������������������������������������������������������

�������������

����

���� �������������������������������������������������������������������� �����

���� �������������������������������������������������������������������������������������� �����
11

of levels within Flight Task showed that the last four tasks 

were judged to have produced significantly higher workload 

than the first three tasks, t(15) = 10.048, p < .01.

Pilot Performance Analysis

A number of flight-performance variables were collected during the flights. The most important variables 

were cross-track error and altitude since these are most 

directly related to distance from a desired course. Additional performance data included bank, ground speed, and 

heading. Each flight was divided into 9 flight segments 

for the purpose of analyzing specific flight-performance 

variables. Not all of the segments were useful for analysis 

and not all of the performance variables were valid for 

every segment. For example, Segment 1 was from takeoff 

until the pilot turned to intercept the 100 degree radial. 

No differences in course deviation were expected as a 

result of display differences during this segment. Also, 

altitude changes continuously during an approach segment. Because glide-slope information was unavailable, 

the analysis of altitude during this segment would not 

be useful. 

Figure 9 shows the root-mean-square cross-track error, 

by display type, for three flight segments. The inbound 

radial segment refers to tracking the radial inbound toward a VOR. After reaching the VOR, pilots turned to a 

new heading and followed an outbound radial until they 

reached a designated intersection. The final approach 

segment occurred after the vacuum failure while the pilot 

was flying with partial-panel instrumentation. Paired ttests were used to compare cross-track error differences 

between display types for each segment. The inbound 

radial segment showed a significant difference according 

to display type, t(15) = 2.20, p <.05, as did the final approach segment, t(15) = 3.14, p <.05. In both cases, use 

of the GPS/MFD led to significantly less error relative 

to use of the VOR. 

Much of the difference in cross-track error can be 

attributed to the fact that the VOR signal spreads out as 

it moves away from the emitter, unlike the GPS crosstrack indication, which remains constant at all positions. 

This could explain why VOR flight performance on the 

outbound radial showed much less cross-track error than 

on the inbound radial: because the outbound radial was 

�������������������������������������������������

��

���

���

���

����

��������

�������

��������

��������

��������

��������

��������

�������

��������

��������

��������

��������

��������

����������������������������������������������������������������������������������������

����������������������������������������������������������������������������������������

�����������������������������������������������������������������������������������

���������������������������������������������������������������������������������������

�����������������������������������������������������������������������������������������������

�������������������������������������������������������������������������������������������

��������������������������������������������������������������������������������������������

�������������������������������������������������������������������������������������������

����������������������������������������������������������������������

������������ ������������
12 

�

�

�

�

�

��

�� ��� �� ���� �� ��� ��

�����������

��������

�������

���

���������������������������������������������������������������������������������������������

���������������������������������������������������������������������������������������������

�����������������������������������������������������������������������

�

���

�

���

�

�������������� ��������������� ��������������

��������������

������������������

�������

�������

���

�����������������������������������������������������������������������������������

�

���

���

���

���

���

�������������� ��������������� ����

��������������

�������������������

�����

�������

���

������������������������������������������������������������������������
13

shorter than the inbound radial and would have less 

average error in the signal. However, this explanation 

does not account for the large differences in cross-track 

error found for the final approach segment, where factors related to other differences in the displays were most 

likely involved.

Figure 10 shows the root-mean-square altitude error 

for three flight segments. The inbound and outbound 

radial segments are the same as those depicted in Figure 

9. The Hold segment occurred while the pilot was flying 

the holding procedure.

For all three segments, altitude error was less while 

using the VOR. However, there was a significant difference between display types only for the inbound radial 

segment, t(15) = 2.22, p <.05.

DISCUSSION

As expected, the pilot group recruited for the study 

varied widely in terms of age (21 - 69 years), total flight 

experience (145 - 20,000 hours), and most of the other 

experience variables that were measured (see Table 1). In 

addition, although 11 (69%) of the pilots had used a GPS 

unit of some type, only 3 (19%) had ever been exposed 

to a multi-function display similar to the MX-20. This 

variability in experience more closely matches the general aviation pilot population than the professional pilot 

population that has been equipped with these displays as a 

part of the Capstone Program (Williams et al., 2002). 

Results from the usability questionnaire demonstrated 

that pilots found both the GX-50 and MX-20 units to 

be usable, without any serious usability problems. The 

MX-20 received higher usability scores on average than 

the GX-50, but this was expected because of the simpler 

design of the MX-20 display. Individual questions about 

the effects of the MX-20 on situation awareness yielded 

strong positive responses from the pilots. Indeed, the 

two highest scores dealt with position awareness using 

the GPS/MFD relative to standard instruments. This is 

a particularly important finding, given the documented 

relationship between pilot situation awareness and flight 

safety (Endsley, 1995; Endsley, 1997; Roscoe, 1968).

Of the six usability categories listed in the questionnaire, 

the category receiving the lowest scores for both displays 

was the effect of the displays on head-down time. It is 

likely that increased practice and exposure to the displays 

will decrease the amount of head-down time required to 

operate the displays. However, observations and interviews 

of pilots using the system have shown that head-down 

time can still be a problem for specific functions, such 

as the display of traffic information, even after years of 

system use (Williams et al., 2002). Some of the lower 

scores from the individual items of both the MX-20 and 

GX-50 usability questions concerned the ability of warnings and alerts to attract attention. This may be because 

neither of the displays presents auditory annunciations 

to the pilot, only visual annunciations.

The analysis of pilot interactions with the displays 

demonstrated that the 2 to 3 hours of training received 

by the pilots was not enough to conduct the required 

tasks without committing several errors and requiring 

assistance from the experimenters. Notably, the pilots 

produced considerably fewer errors and were given much 

less assistance when performing MX-20 tasks than when 

performing GX-50 tasks. This was expected because of 

the differences in the complexity of the tasks performed, 

although it is possible that an improved interface design 

might make the performance of certain GX-50 tasks easier. 

These results have implications regarding mandatory FAA 

training requirements for these displays. Perhaps the FAA 

should consider following the lead of other countries in 

this matter. Australia, for instance, requires that pilots 

attend an approved training program, be flight tested, and 

receive a license endorsement before flying a GPS display 

in IFR conditions (St. George & Nendick, 1998).

In comparing the effectiveness of the GPS/MFD displays to the standard VOR for conducting instrument 

flight tasks, several pieces of information are available 

from the study. First, there were no significant differences 

between the two display types in terms of the subjective 

workload estimates given by the pilots. This was somewhat 

surprising, given the apparent difficulty experienced by 

many of the pilots in performing the assigned tasks with 

the GPS/MFD. One possible explanation is that the pilots 

felt that they could easily master the GPS/MFD displays 

with practice, which may have affected their estimates.

Despite the lack of a significant difference between 

subjective workload estimates, performance differences 

were found between the two display types. For instance, 

when pilots flew using the GPS/MFD, they were more 

accurate in terms of cross-track error (horizontal distance 

from the intended flight path). As mentioned before, 

this was expected given previous research with moving 

map displays (Haskell & Wickens, 1993; Roscoe, 1968; 

Wickens & Prevett, 1995). On the other hand, pilots 

were less accurate in holding altitude while flying the 

GPS/MFD, at least during the longest flight segment. 

A possible explanation for this is that the altimeter was 

located closer to the VOR display than the GPS/MFD 

display, making it more difficult for the pilots to include 

the altimeter in their scan. Although the MX-20 does 

display altitude information, the pilots were accustomed 

to looking for altitude information on the altimeter.
14 

The presence of the GPS/MFD after the vacuum 

failure assisted pilots in maintaining awareness of their 

position and in improving their horizontal flight path 

performance during the approach to the runway. Pilots 

flying the approach on partial-panel instrumentation with 

only the VOR showed a mean horizontal flight path error of approximately 1 mile. In contrast, when they flew 

the approach on partial-panel instrumentation with the 

assistance of the GPS/MFD, their flight path error was 

approximately 1/

3

 of a mile; a dramatic improvement. 

Subjective estimates further support this finding. Pilots 

said they felt that it was both easier to control the aircraft and to navigate after the vacuum failure using the 

GPS/MFD than when using only VOR. These findings 

also support recent research demonstrating that the presence of a flight instrument within the primary field of 

view and containing a valid heading reference reduced 

loss of control of the aircraft while flying partial-panel 

instrumentation (Beringer & Ball, 2001).

As these new aircraft displays become more common 

in general aviation cockpits, it is comforting to find evidence of their effectiveness and usability in instrument 

flight, the most complicated of flight operations. Issues 

still remain, however. The need for assistance while many 

of the pilots were interacting with the displays is evidence 

that training requirements should be modified to specifically address new technology in general aviation cockpits. 

Also poorly understood is how quickly knowledge of a 

system is lost if the pilot does not fly for a period of time. 

The need for assistance also suggests that excessive headdown time could remain a problem when assistance is 

not available. However, the ability of the MX-20/GX-50 

to help the pilot maintain situation awareness, improve 

navigational accuracy, and increase safety in emergency 

situations offsets to some extent the additional training 

that may be necessary or the workload associated with 

operating the displays.

REFERENCES

Beringer, D.B. & Ball, J.D. (2001). When gauges fail 

and clouds are tall, we miss the horizon most of 

all: General Aviation pilot responses to the loss of 

attitude information in IMC. In Proceedings of the 

Human Factors and Ergonomics Society 45th Annual 

Meeting – 2001, pp. 21-5.

Endsley, M.R. (1995). A taxonomy of situation awareness 

errors. In Human Factors in Aviation Operations, 

R. Fuller, N. Johnston, and N. McDonald (Eds.). 

Aldershot, England: Avebury Aviation, Ashgate 

Ltd., pp. 287-92.

Endsley, M.R. (1997). Supporting situation awareness 

in aviation systems. In Proceedings of the IEEE 

International Conference on Systems, Man, and Cybernetics, Orlando, Florida, October 12-15, 1997, 

pp. 4177-81.

FAA, (2000). US civil airmen statistics. Information available on the Internet at URL http://api.hq.faa.gov/

CivilAir/index.htm. Web site of the FAA Office of 

Aviation Policy and Plans.

FAA, (2003). FAA Alaska Region Home Page. Information available on the internet at URL http:

//www.alaska.faa.gov/capstone/. Web site of the 

FAA Alaska Region Capstone Office.

Hart, S.G., & Staveland, L.E. (1988). Development of 

NASA-TLX (Task Load Index): Results of Empirical, & Theoretical Research. In P.A. Hancock 

& N. Meshkati (Eds.), Human Mental Workload,

North-Holland, Amsterdam, The Netherlands: 

Elsevier Science Pub. 

Haskell, I. D. & Wickens, C.D. (1993). Two- and threedimensional displays for aviation: A theoretical and 

empirical comparison. International Journal of Aviation Psychology, 3(2), 87-109.

Heron, R.M & Nendick, M.D. (1999). Lost in space: 

Warning, warning, satellite navigation. In D. 

O’Hare (Ed.), Human Factors in General Aviation, 

(pp. 193-224). Aldershot, UK: Ashgate.

Nendick, M. & St. George, R. (1995). Human factors aspects of global positioning systems (GPS) 

equipment: A study with New Zealand pilots. In 

Proceedings of the Eighth International Symposium on 

Aviation Psychology (pp. 152-7). Columbus, OH: 

The Ohio State University.
15

Nendick, M. (1995). Global position satellite system 

(GPS): Human factors aspects for general aviation 

pilots. Unpublished thesis. Massey University: New 

Zealand.

Roscoe, S.N. (1968). Airborne displays for flight and 

navigation. Human Factors, 13, 561-7.

St. George, R. & Nendick, M. (1998). GPS training for 

general aviation VFR pilots: To regulate or educate?

Paper presented at the Fourth Australian Aviation 

Psychology Symposium, 16-20 March, 1998, 

Manly, Australia.

Wickens, C. (2000). Imperfect and unreliable automation 

and its implications for attention allocation, information access and situational awareness. Moffett Field 

CA: NASA Ames Research Center.

Wickens, C.D. & Prevett, T.T. (1995). Exploring the 

dimensions of egocentricity in aircraft navigation 

displays. Journal of Experimental Psychology: Applied, 1(2), 110-35.

Williams, K.W. (1999a). GPS user-interface design 

problems. U.S. Department of Transportation, 

Federal Aviation Administration, Office of Aviation Medicine, Washington, DC. Publication No. 

DOT/FAA/AM-99/13.1

Williams, K.W. (1999b). GPS user-interface design 

problems: II. U.S. Department of Transportation, 

Federal Aviation Administration, Office of Aviation Medicine, Washington, DC. Publication No. 

DOT/FAA/AM-99/26.1

Williams, K.W., Yost, A., Holland, J., & Tyler, R.R. 

(2002). Assessment of advanced cockpit displays for 

general aviation aircraft – the Capstone Program. 

U.S. Department of Transportation, Federal Aviation Administration, Office of Aerospace Medicine, 

Washington, DC. Publication No. DOT/FAA/AM02/21.1

1 This publication and all Office of Aerospace Medicine 

technical reports are available in full-text from the 

Civil Aerospace Medical Institute’s Publications Web 

site: http://www.cami.jccbi.gov/aam-400A/index.html

A1

������������������������������������

�������������������������������������

��� ��������������������������������������������������������������������������������������������������������

�������������������������������������������������������������������������������������������������������

���������������������������������������������������������������������������������������������������

�������������������������������������

���������������������

���������������������������

�������������������������������������

�������������������������

�������������������

���������������������������

���������������������

���������������������������

�������������������������������������

�������������������������

�������������������

���������������������������

��������������������

������������������������

����������������

����������������

��������������������

�����������������������������������������

���������������������

���������������������������

�������������������������������������

�������������������������

������������������

�����������

��������������������������

��������������������������������

��������������������������

����������������������������������

���������������������������

������������������������������������������

���������������������������������������������

���������������������������������������������������

�������������������������������������

������������������������������������������������������

������������������������������������������������

������������������������

������������������������������ � � �� �� �� ��

������������������������������������������������������������������

�����������������������

��������������������������������������

����������������������������

�����������������������������������������������

�������������������������������������������������

����������������������

�����������������������������������

����������������������������

�����������������������

����������������

����������������������

��������������������������

������������������������������������������������������������������������������������������������

��� ����������������������������������������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������
A2 

��� �������������������������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

��� ����������������������������������������������������������������������������������������

��������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

��� �������������������������������������������������������������������������������������������������������

��������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

��� ��������������������������������������������������������������������������������������������������������

�������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

��� ������������������������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

��� ��������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

��� �������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

��� �������������������������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� ��������������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������
A3

���� ��������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� ����������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� �����������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� ������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� ��������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� ������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� ����������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� �����������������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� �����������������������������������������������������������������������������������������������������������

��������������������������������� ��

�������������������������������������������������������������������������������������������
A4 

�������������������������������������

���������������������

���������������������������

�������������������������������������

�������������������������

�������������������

����������������������������

���������������������

���������������������������

�������������������������������������

�������������������������

�������������������

���������������������������

��������������������

������������������������

����������������

����������������

��������������������

�����������������������������������������

���������������������

���������������������������

�������������������������������������

�������������������������

������������������

�����������

��������������������������

��������������������������������

��������������������������

����������������������������������

���������������������������

������������������������������������������

���������������������������������������������

���������������������������������������������������

�������������������������������������

�������������������������������������������������

����

������������������������������������������������

���������������������� �� �� �� �� �� ��

�����������������������������������������������������������������

����������������������

���������������������

�������������������������������

�������������������������������������������������������

���������������������������������������������

�����������������������������������

�������������������

�����������������������������������

���������������

��������������������������

��������������������������������������

�������������������������������������

������������������������������������������������������������������������������������������������

���� �������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� �������������������������������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������
A5

���� ����������������������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

���������

������

���������

������

���� �������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� ������������������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� ����������������������������������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� ��������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� �������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� ������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� ��������������������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� ��������������������������������������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� ��������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� ��������������������������������������������������������������������������������������

�� �� �� �� ��

���������

���������

���������

���������

��������������

�������������

��������������� ���������������

���� �����������������������������������������������������������������������������������������������

������������������������������������������� ��� ��

�������������������������������������������������������������������������������������������