Poco después de la muerte de su madre, su tía abuela materna, Irene Jordan, se mudó con la familia y llegó a ser como una segunda madre para Phelps; ella murió en un accidente automovilístico en 1950, poco antes del vigésimo primer cumpleaños de Fred.