Best var sønn av postinspektør Georg Konrad Best og dennes hustru Karoline. I 1912 flyttet familien først til Dortmund og deretter til Mainz. Faren falt ved vestfronten i Frankrike bare to måneder inn i første verdenskrig. 11 år gammel var Best alene med moren og en litt yngre bror.