På slutten av sin periode som minister ble Richardson involvert i en politisk skandale som gikk på at han hadde leid inn en privat borger til å samle inn diverse skatteunnlatelse på totalt $427 000. Richardson hadde avtalt at innkreveren kunne beholde halvparten av den innsamlede summen, hvorav $156 000 gikk til ham selv og til det republikanske partiet.