À l'origine, la demeure était appelée « palais présidentiel » ou « manoir présidentiel ». L'épouse du président Madison, Dolley Madison, l'appelait le « château du président ». La première apparition du terme de « Maison-Blanche » apparaît en 1811. Durant la guerre de 1812, le bâtiment fut partiellement détruit par des incendies, et un mythe voit l'origine de l'appellation « Maison blanche » dans la peinture blanche utilisée pour la reconstruction. Le nom de « Manoir exécutif » fut souvent employé dans des contextes officiels jusqu'à ce que le président Theodore Roosevelt établisse le nom formel en 1901 en faisant figurer « Maison-Blanche-Washington » sur l'en-tête de son papier à lettres. Grand communiquant, il désirait en effet créer une « marque » forte. Le président Franklin Roosevelt le modifia par la suite en « La Maison-Blanche » avec l'inscription « Washington » centrée en dessous. Cette convention perdure encore aujourd'hui.