Anders nació el 17 de octubre de 1933, en el Hong Kong británico, hijo del teniente de navío de la Armada de los Estados Unidos Lt. Arthur F. Anders (muerto en 2000) y de Muriel Adams Anders (fallecida en 1990). La familia se mudó a Annapolis, Maryland, donde el teniente Anders enseñó matemáticas en la Escuela Naval. Posteriormente, los Anders regresaron a China, pero Muriel y Bill escaparon a las Filipinas después de que los japoneses atacaron Nankín. Pudieron huir en un tren de tropas a Cantón; alimentándose a base de sopa de Campbell hervida en un cubo. El hotel donde se hospedaron estaba a 180 m del río que los japoneses estaban bombardeando, el mismo río por el que tendrían que viajar para escapar. Su barco fue el primero en ir río abajo después de que los chinos lo hubieran minado.