夏の県大会に敗れ進路が定まらない中、関西大学野球部キャプテンの木嶋一黄の誘いを受け、同部のセレクションを受ける。ここで小林は高評価を得、スポーツ推薦による入学を確実なものにした。しかし関西大学が突如スポーツ推薦枠を廃止し、入学は立ち消えとなった。ここで大学卒業後の大丸入社が決まっていた木嶋に再び声をかけられ、同社に入社。神戸店に勤務した。小林は当初「ギリギリで入れてもらえた」と感じていたが、実際には小林の実力は高く評価されていた。配属先の神戸店では練習後の業務が免除されていたのがその証拠である。この時期に小林は球種を増やすために腕の位置を下げ、アンダースローに近いフォームで投げるようになった。これにより、カーブの曲がりもそれまでより良くなった。入社1年目の1971年5月、読売ジャイアンツスカウトの伊藤菊雄は、日本石油との練習試合に登板した小林に目を留めた。体格に恵まれないためプロ野球選手になるのは無理だと考えていた小林は、都市対抗野球大会の京都予選に向けた練習中に伊藤に引き合わされ、大いに驚いた。小林は幼いころからのジャイアンツファンだった。チームは京都予選を勝ち上がることはできなかったが、大会後近鉄バファローズや南海ホークスも小林に注目するようになった。しかし小林には体力面でプロ野球でシーズンを通じて活躍できるかどうか不安があり、都市対抗野球大会の京都予選を突破して全大丸に恩返しがしたいという思いもあったことから、プロ入りする意思のないことを宣言した。小林の宣言を受けて近鉄と南海は1971年のドラフト会議での指名を回避。これに対し読売ジャイアンツは6位で指名した。小林は事前の宣言通り入団を辞退したが、巨人側には指名により1年間の交渉権を確保し、都市対抗野球大会終了後に入団させる狙いがあった。翌1972年3月、京都社会人野球春季大会で同大会史上2人目のノーヒットノーランを記録。5月の京都市長杯争奪社会人野球大会でも準決勝・決勝で完封するなど順調な仕上がりで6月の都市対抗野球大会京都予選に臨んだ。チームは3戦全勝の成績で都市対抗野球大会出場を決め、小林は決勝リーグで前年に敗れた日本新薬を1失点に抑えて完投勝ちを収めた。7月の都市対抗野球大会1回戦（対電電東北）でチームが敗れた後、小林は伊藤に巨人入団の意思を伝えた。11月17日正式に入団が発表された。小林にはもう1年全大丸でプレーし、次回のドラフト会議でより上位での指名を狙う選択肢もあったが、巨人から指名を受けられるという保証はなかったため、巨人ファンの父親に喜んでもらいたいという思いを優先させた。入団に際し小林は、当時の制限最高額である1000万円の契約金を要求。900万の契約金と、1年目に1勝すれば100万円を加えるという条件を勝ち取った。
1934年（昭和9年）の第二次補充計画（マル2計画）により計画され、三菱神戸造船所で1934年（昭和9年）11月11日起工、1937年（昭和12年）9月16日進水。1938年（昭和13年）6月1日、艦型名を伊六十八型に改正。同年12月18日に竣工した。呉鎮守府籍となり、第二艦隊第2潜水戦隊第11潜水隊に編入。1939年（昭和14年）11月15日、第2潜水戦隊は第3潜水戦隊に改編される。1940年（昭和15年）10月11日、横浜港沖で行われた紀元二千六百年特別観艦式に参加。11月15日、第3潜水戦隊は第六艦隊に編入される。太平洋戦争開始時、伊75は第六艦隊第3潜水戦隊第11潜水隊に所属。11月11日、伊75は佐伯を出港し、クェゼリンに寄港した後ハワイ作戦に従事する。真珠湾攻撃ではオアフ島南方で真珠湾から出てくる艦船の偵察を行った。15日、マウイ島カフルイを砲撃。17日、北緯17度46分 西経157度03分のハワイ南方180浬地点付近で米貨物船マニニ（Manini、3,252トン）を雷撃により撃沈。24日、パルミラ環礁の米軍陣地に対して距離4000mから主砲14発を発射し建物を破壊するも、陸上砲台の反撃により退避。その後、クェゼリンに寄港した後、ミッドウェー、アリューシャン列島を偵察し、1942年（昭和17年）2月19日に横須賀に帰投。後呉に移動した。4月15日、伊75は呉を出港し、5月10日にクェゼリンに到着した。20日、伊号第百七十五潜水艦に改称された。同日、第2次K作戦に参加してクェゼリンを出港し、オアフ島南西沖に進出。しかし、作戦は中止となり、6月20日にクェゼリンに帰投。7月8日、伊175はクェゼリンを出港し、オーストラリア東方海域での通商破壊に従事する。23日、ニューキャッスルから20浬離れた海域で砂糖を積んでケアンズからシドニーへ航行中の豪貨物船アラーラ（Allara、3,279トン）を雷撃。魚雷1本が船尾に命中し、これを撃破。アラーラは後に曳航されてニューキャッスルに入港した。24日、シドニー近海で豪貨物船ムラダ（Murada、3,345トン）を雷撃し、これを撃破。28日、シドニー北東沖合でニッケル鉱石を輸送中の自由フランス鉱石運搬船カグー（Cagou、2,795トン）を雷撃により撃沈。8月3日、モルヤ近海で豪トロール漁船ダレンビー（Dureenbee、233トン）を砲撃して撃破。大破したダレンビーはその後放棄され、沈没した。12日、米空母エンタープライズ搭載のドーントレスの攻撃を受けて損傷したため、哨戒を打ち切ってラバウルに向かう。17日にラバウルに帰投して修理を受ける。22日、伊175はラバウルを出港し、ソロモン諸島方面に進出。この哨戒では戦果はなく、9月21日にトラックに帰投した。10月16日、伊175はトラックを出港してソロモン諸島方面へ進出。その後、ガダルカナル島周辺を哨戒するも戦果はなく、11月19日にトラックに帰投した。20日、竹島南泊地で海軍一般徴用船(給油船)日新丸（西大洋漁業、16,801トン）と衝突事故を起こして損傷。27日にトラックから呉に移動。12月5日に横須賀に移動して修理を受ける。修理完了後、呉に移動。1943年（昭和18年）3月15日、第11潜水隊の解隊に伴い、第12潜水隊に編入。5月17日、伊175はキスカ島撤退作戦に参加するため呉を出港。24日、キスカに到着し、輸送物資16トンを揚陸し人員60名を収容。作業が完了した6月6日にキスカを出港。10日、伊175は幌筵に到着。翌11日、特設運送船(給油船)の帝洋丸から燃料補給を受ける。13日には幌筵を出港し、17日にキスカに到着。物資16トンを揚陸し、人員70名を収容した後出港。20日に幌筵に帰投した。24日、幌筵を出港し、アムチトカ島南方沖合で発信された敵の電信の確認に向かうも。空振りに終わる。8月10日、呉に帰投。