Virginia Hall ble født den 6. april 1906 i byen Baltimore i den amerikanske delstaten Maryland. Hennes foreldre var Barbara Virginia Hammel og Edwin Lee Hall. Hun gikk på pikeskolen Roland Park Country School og deretter Radcliffe College, også kun for kvinner, ved Harvard University og Barnard College ved Columbia University, hvor hun studerte fransk, italiensk og tysk. Hun gikk også på George Washington University, hvor hun studerte fransk og økonomi. Hun ønsket å fullføre studiene i Europa, så hun reiste kontinentet og studerte i Frankrike, Tyskland og Østerrike, og fikk til slutt en ansettelse som kontorist i konsulærtjenesten ved USAs ambassade i Warszawa i Polen i 1931.