Jerry Stiller var ett av fire barn av Bella Citrin og William Stiller, som var bussjåfør. Hans besteforeldre på farssiden var østerrikske jødiske immigranter og hans besteforeldre på morssiden var russiske jøder.