バトラーは高校を卒業した後、大学から引く手数多だったわけではなかった。そのため、バトラーはテキサス州にあるタイラー短期大学に入学する事に決めた。その後バトラーはマーケット大学に転校し、2年生だった2008-2009年の時に試合平均5.6点、3.9リバウンド、FT率76.8%を記録した。3年生の時(2009-2010年のシーズン)には先発選手となり、試合平均14.7点、6.4リバウンドを記録し、All-Big East Honorable Mention賞を獲得している。このシーズンのバトラーのハイライトは、コネチカット大学とセント・ジョーンズ大学を相手にした試合でウィニングショットを放った事だった。この結果、マーケット大学の5期連続NCAAトーナメント出場にバトラーは貢献する事ができた。
「彼の生い立ちには驚くばかりだよ。彼の人生には幾つもの困難があったのに、いつも彼はそれを克服してきたんだ。もし彼と話をする機会が得られたならば(彼はあまり自分の生い立ちについて話したがらないだろうけど)彼に敬意を抱くと思うよ」2011年のドラフトの前に、とあるNBAチームのGMが口にしたこの言葉が示すとおり、バトラーの経歴は非常に波乱に富んでいる。バトラーの父は彼が幼い時に家族を置いて家を出て行った。そしてヒューストンの郊外、トムボールに住んでいた13歳の時に母親に家を追い出される事になった。「あんたの顔が気に食わないんだ。さっさと出て行きな」2011年のインタビューの時に、バトラーはそう母親に言われたと語っている。その後、バトラーは複数の友人の家の間を転々としながら過ごす事になった。その後バトラーはトムボール高校に入学した。12年生になる直前のサマーリーグで、バトラーは後輩のジョーダン・レスリーにスリーポイント勝負を挑まれた。その後彼らはすぐに友達となり、バトラーはレスリーの家で寝泊りするようになった。レスリーの母と継父は、6人の子供がいるため最初は彼を養子として引き取る事に消極的だったが、結局数ヵ月後に彼を家族に迎え入れた。「彼らは僕の事をバスケットボールが上手いから引き取ったわけじゃないんだ。彼女（レスリーの母）は信じられない事に僕の事を愛してくれたし、たらふくご飯を食べさせてくれたんだ」後にジミーはインタビューでそう語っている。バトラーはトムボール高校の最上級生の2006-2007年のシーズンには、試合平均19点、8リバウンドの成績を上げている。彼はチームで一番優秀なプレイヤーだった。
ジェシー・グリーンスタイン（Jesse Leonard Greenstein, 1909年10月15日 – 2002年10月21日）はアメリカ合衆国の天文学者である。レバレット・デイビスと共に星間ダストが星間の磁場によって整列するモデルを提出し、またマーテン・シュミットとともに最初のクエーサーのスペクトルを観測した天文学者である。ニューヨークで生まれ、ハーバード大学で学んだ後、ヤーキス天文台でオットー・シュトルーベのもとで研究し、後にカリフォルニア工科大学に移った。ルイス・ヘニエイ（w:Louis G. Henyey）とともに新しい分光方法と広角望遠鏡を発明した。1949年にレバレット・デイビスとともに宇宙の磁場により星間ダストが整列するモデルを示し、これはウィリアム・ヒルトナーの星間物質による偏光の発見を説明するものである。グリーンスタインは1960年、電波源3C48に付随する光学天体の従来の天体のスペクトルとは異質のスペクトルを観測したが、クエーサーが非常に遠方にあって高速で遠ざかる、高エネルギーを放出する天体であることを解明したのはマーテン・シュミットである。
1883年（明治16年）26歳で長崎に赴任、学務課長と長崎師範学校長を兼務し6年半に渡り長崎の教育界の組織づくりを行うことになる。長崎は江戸時代、唯一外国人渡航が認められた地であるにもかかわらず、明治時代になり一旦は設立された医学校、外国語学校、師範学校は廃止され教育が荒廃していた。赴任の翌年に長女みね（3歳）を失うが仕事に邁進し、小山はまず女子師範学校を1884年（明治17年）に男子の師範学校に併設する形で開設。1887年（明治20年）には、旧制ナンバースクールの第五高等学校の前身、第五高等中学校を設立。長崎県衛生課の管轄下にあった長崎医学校を学務課に移管し学科過程、校則を改変し予算を増やし後の長崎大学医学部の礎を築いた。また、商業教育の重要性を説き、消滅していた長崎の商業学校を1886年（明治19年）に復活させる（現長崎市立長崎商業高等学校）。商業学校を復活させる上での一番の問題は予算であったが、小山は「五厘金」に目をつける。五厘金とは、開国以来長崎の貿易商人が利益の1,000分の5を積み立てていたものを明治政府から没収されていたものであり、管理していた貿易会所は商業学校設立への支出を承諾し復活が実現した。この年3月17日に次女・久子を授かる。この時期、1887年（明治20年）、初代文部大臣森有礼の視察を迎えてから森との交流が始まる。長崎の「教育界」という雑誌に小山は「島国である日本に将来必要なのは海運業であり、商船学校の設立、航海教育が急務であるとの論文を投稿、これを東京の森有礼が目にし、即座に商船学校が整備される。またこの年、森有礼に随行して熊本に出張して数ヶ月後、急遽、熊本の第五高等中学校医学部校長兼任の命を受け、1889年（明治22年）まで長崎と熊本を行き来する多忙な日々を送ることになる。1889年（明治22年）11月5日、第五高等中学校教諭として長崎を離れ熊本に赴任するが、わずか半月後に東京職工学校幹事、東京職工学校委員に任ぜられ、東京に戻ることとなる。1889年、次男・健男が、1891年、三男・恒男が生まれる。