Krumholtz nasce nel Queens, borough di New York, il 15 maggio del 1978, figlio di Michael Krumholtz, un impiegato postale statunitense, figlio a sua volta di immigrati polacchi di origine ebraica, e di Judy Krumholtz, un'assistente odontoiatrica ungherese, anch'ella di origine ebraica, emigrata negli Stati Uniti nel 1956, per sfuggire ai tumulti dell'insurrezione anti-sovietica scoppiata nel Paese in quello stesso anno. Cresce in condizioni di precarietà economica, alla soglia della povertà.