Pleasonton blev født i Washington, D.C. som søn af Stephen og Mary Hopkins Pleasonton. Stephen var en kendt person, da Alfred blev født. Under Den britisk-amerikanske krig (1812) var han ansat i udenrigsministeriet (State Department), og det var hans personlige initiativ, som reddede vigtige dokumenter i Nationalarkivet fra at blive ødelagt under det britiske raid mod Washington, herunder den originale Uafhængighedserklæring og USA's forfatning. Mens han var ansat i finansministeriet, var han involveret i skandaler i 1830-erne om korruption i forbindelse med tildeling af kontrakter om bygning af fyrtårne, som viste sig at være for dårligt konstruerede og begyndte at forfalde alt for hurtigt. Hans embedsførelse blev undersøgt af USAs Kongres, som omtalte hans ”sløvhed og misrøgt af embede”, og det førte til, at han blev afskediget i 1852, hvilket kastede en skygge over familiens rygte. (Administrationen af USA’s fyrtårne blev overført til en ni-mands bestyrelse, som bl.a. bestod af Alfreds fremtidige overordnede under borgerkrigen George G. Meade.)