Albee ble født enten i Washington, D.C. eller i Virginia som sønn av Louise Harvey og ble satt ut til adopsjon atten dager etter fødselen. Han ble adoptert ti måneder senere av Reed og Frances Albee, et ektepar bosatt i Larchmont, New York.