Se casó en 1965 con Judy Levitt y tuvieron un hijo, Josh Andrew Koenig, y una hija, Danielle Koenig, una de las escritoras de la serie animada Invader Zim.