Твёрдо решив стать актёром, Диллман поступил в престижнейший Йельский университет, где изучал театральное и драматическое искусство. Комнату делил с будущим писателем . После окончания университета был призван в ряды морской пехоты США, в составе которой воевал в Корее. Обучение проходил в рекрутском депо Пэррис-Айленд.