Albee studerte ved Rye Country Day School i Westchester County, New York, og deretter ved Lawrenceville School i New Jersey. Han ble da sendt til Valley Forge Military Academy i Wayne i Pennsylvania, og ved Choate School (nå kalt «Choate Rosemary Hall») i Connecticut. Hans utdannelse fortsatte ved Trinity College i Hartford i Connecticut, hvorfra han ble utvist i 1947 etter å ha skulket og nektet å delta i den obligatoriske gudstjenesten.