Sioux language
アルベマール郡となった地域にヨーロッパ人が入ってきたとき、そこの住人はサポニ族と呼ばれるスー語族インディアンだった。1744年、バージニア植民地議会がグーチランド郡北部からアルベマール郡を設立した。郡名は当時バージニア植民地の肩書き総督だった第2代アルベマール伯爵ウィレム・アン・ヴァン・ケッペルに因んで名付けられた。当初は今よりも大きな領域だったが、1761年に分割されてバッキンガム郡とアマースト郡が作られ、郡庁所在地は元の領域の中心にあったスコッツビルから、新しい領域の中心に近い場所に移され、シャーロッツビルと名付けられた。