दीपक की शुरुआती दौर की कहानियां, जालंधर से प्रकाशित हिंदी मिलाप और वीरप्रताप में छपीं। उन दिनों वह दीपक भारद्वाज के नाम से लिखता था। स्वदेश दीपक के रूप में साहित्यिक पत्रिकाओं में शुरुआत मनोहर कहानियां से हुई, जिसमें दीपक की पहली कहानी ‘लाल फीते का टुकड़ा’ छपी थी। साहित्यिक जगत में उसकी हलचल का सिलसिला 1960 में ‘ज्ञानोदय’ में प्रकाशित उसकी कहानी ‘संता सिंह का बेटा बंता सिंह’ से चला था। ये वे दिन थे, जब निर्मल वर्मा, अज्ञेय, राजेंद्र यादव, प्रभाकर माचवे, धर्मवीर भारती, मोहन राकेश आदि स्थापित हो चुके थे। उन दिनों ‘साठोत्तरी हिंदी कहानी’ एक आंदोलन-सा बन गई थी। उन्हीं दिनों ‘सारिका’ में दीपक की पहली कहानी ‘अश्वारोही’ छपी। जम कर चर्चा हुई। ‘धर्मयुग’ में प्रकाशित उसकी पहली कहानी ‘अहेरी’ थी। उसके साथ ही दीपक का नाम कमलेश्वर, निर्मल वर्मा, राजेंद्र यादव और मन्नू भंडारी की पंक्ति में शामिल हो गया। उन्हीं दिनों उसकी बेहद चर्चित कहानियों में ‘एक मुट्ठी चावल’, ‘बदलती राहें’ और ‘रिफूजी’ शामिल थीं। दीपक का पहला कहानी संग्रह था ‘अश्वारोही’, जिसमें उसे कहानी लेखन में सशक्त हस्ताक्षर के रूप में स्थापित कर दिया। उसके चर्चित कहानी संकलनों के नाम हैं, ‘लालफीते का टुकड़ा’, ‘संता सिंह का बेटा बंता सिंह’, ‘बदलती राहें’ आदि। दरअसल, अश्वारोही (1973) के माध्यम से ही दीपक ने अपने अभिनव लेखनशैली की गंध पूरे कथाजगत में फैला दी थी।