Judd ble født i Missouri og studerte filosofi ved Columbia University. I studietiden tok han flere kveldskurs i kunst.