大分県出身。中学卒業後、代用教員を経験したほか、軍役に服して衛生部員として大分の衛戍病院の一隊に属したという。その間、幸徳秋水や堺利彦の社会主義に心酔した。『関西医事』（1929年刊行、1941年廃刊）の刊行にあたったのに加え、優生学運動に熱心で、雑誌『優生学』（1924年刊行、1943年廃刊）を刊行した。後藤は日本優生学会を立ち上げ、全国的な組織形成を図ろうとした試みた節があるが、期待したほどの成果は挙がらなかった。池田林儀の『優生運動』誌に対しては対抗意識を露わにした時期もある。後藤は1930年代に日本民族衛生学会大阪支部理事として名を連ねたが、同学会の理事長、永井潜が唱えたような産児調節論批判には同調せず、左翼的な産児調節相談所が取り壊しに遭い始めた時期に、産児調節賛成の姿勢を明らかにし、1943年の『優生学』誌廃刊まで、妊娠調節の相談の広告を同誌で出していた。廃刊間際の1943年4月号では、「大東亜聖戦」で「何億と云ふ巨利」を挙げるものを続出させる一方、「世を挙げて正直なものに馬鹿を見せ」たりする「社会人類の前途は、いよいよ底無き沼の凋落」などの文言が「戦時下経済社会の跛行状況を誇張し徒らに現時局を呪詛する」ものとみなされ、出版警察より削除処分を受けた。戦後、『関西医界』（1951年刊行）を刊行した。息女の2人は宝塚歌劇団に属した。長女は御山櫻（深山さくら）で星組組長、次女は岬ありさで月組副組長だった。
2009年には、オープン戦で主に遊撃手として起用。好調な打撃を買われて、同期入団の松本啓二朗とともに開幕一軍入りを果たした。4月3日には、中日ドラゴンズとの開幕戦（ナゴヤドーム）で、松本と揃ってスタメンに起用。横浜で複数の新人選手が一軍のレギュラーシーズン開幕戦にスタメンで起用されたのは、1959年（大洋ホエールズ時代）の麻生実男・桑田武・金光秀憲以来50年振りであった。チームは打線全体で5安打しか放てなかったが、日本代表として出場した第2回ワールド・ベースボール・クラシック期間中の故障によって開幕に間に合わなかった主砲・村田修一の代役扱いながら、「8番・三塁手」として出場した山崎は3安打を記録。NPB球団の新人選手としては史上10人目の一軍開幕戦猛打賞を達成した。村田は開幕16試合目から一軍へ合流したが、山崎は合流するまでの15試合中10試合でスタメンに起用。村田合流後の公式戦にも主に代走や内野の守備要員として起用されたため、一軍公式戦への出場は69試合にのぼった。8月13日の対東京ヤクルトスワローズ戦（明治神宮野球場）では、9回表の打席で一軍公式戦初本塁打を放っている。2010年には、一軍公式戦49試合へ出場。代走や守備固めが中心だったため、通算の打席数は36打席で、前年の128打席から4分の1程度にまで減少した。2011年には、一軍公式戦21試合へ出場。イースタン・リーグ公式戦では、93試合の出場で最終規定打席へ到達したものの、打率（.197）は規定打席到達30人中の最下位であった。2012年には、イースタン・リーグ公式戦65試合の出場で、規定打席不足ながら4本塁打、打率.273と復調。しかし、一軍公式戦には18試合の出場にとどまった。2013年には、内野の全ポジションと捕手をこなせるユーティリティプレイヤー（詳細後述）として、一軍公式戦115試合に出場。一軍公式戦では捕手としてマスクを被る機会はなかったものの、9月3日の対阪神タイガース戦（横浜スタジアム）に「2番・一塁手」として起用するなど、内野の全ポジションでスタメン出場を果たした。また、打撃面でも過去最高の打率.249を記録。5月18日の対北海道日本ハムファイターズ戦（横浜）では、チームの勝利につながる逆転二塁打を放ったことから、試合後にプロ入り後初めてヒーローインタビューを受けた。2014年には、一軍公式戦の開幕から遊撃のレギュラーを白崎浩之と争った末に、正遊撃手へ定着。一軍公式戦全体では、前年に続いて115試合に出場した。打率は.239で前年を下回ったが、安打数は自己最多の74安打で、セントラル・リーグ3位の38犠打も記録した。2015年には、極度の打撃不振に陥った影響で、正遊撃手の座を新人の倉本寿彦や白崎に奪われた。一軍公式戦への出場は25試合どまりで、代走や守備固めとしての起用が再び増えた。このため、シーズン終了後には肉体改造へ着手。体重を人生最多の86kgまで増やすなど、パワーアップを図った。2016年には、2月5日に、二軍嘉手納キャンプでの練習中に左膝を負傷。後に左膝内側側副靱帯断裂で「全治1年」という診断を受けたため、2月25日に靱帯再建の手術を受けた。シーズンの大半を患部のリハビリに費やしたため、プロ入り後初めて一軍公式戦へ出場できなかったが、シーズン終盤にイースタン・リーグの公式戦で実戦に復帰すると本塁打を放った。2017年には、東京ヤクルトスワローズから移籍したベテラン・田中浩康や、入団2年目の柴田竜拓が一軍で二塁手として活躍。倉本も正遊撃手の座を維持したため、山崎は2年連続で一軍公式戦へ出場できず、10月5日に球団から戦力外通告を受けた。しかし、NPB他球団での現役続行を希望していたことから、11月15日には12球団合同トライアウト（マツダスタジアム）へ参加した。シートバッティング形式で4人の投手と対戦したところ、大隣憲司から二塁打を放つなど、2安打を記録した。