Da daværende høyesterettsjustitiarius Melville Fuller avgikk med døden i juli 1910 ble White utnevnt til ny justitiarius av president William Howard Taft. Denne utnevnelsen var kontroversiell ettersom Taft selv var republikaner mens White var demokrat. Han ble generelt sett på som en konservativ dommer i sitt virke i høyesteretten, og dom justitiarius forstavet han presidenteden for både Woodrow Wilson (to ganger) og Warren G. Harding. Da White selv avgikk ved døden i mai 1921 ble han etterfulgt av William Howard Taft.