Navnet kjenner vi fra skriftlige kilder fra 1530 og refererer trolig til jordsmonnet som var rikt på leire og silt (milðar, flertall av milðr eller milði på gammelnorsk). Gården var tidligere delt i to, i Store og Litle Milde, selv om eierskapet i stor grad forble udelt fram til 1816.