キネマ旬報社・刊『日本映画俳優全集・男優編』で大友の項目を執筆した田中純一郎は、『東海道四谷怪談』の宅悦役を「（映画の）不気味さを大いに盛り上げた」として大友の代表作に挙げている。昭和39年の大蔵映画『怪談残酷幽霊』は、大友の映画初出演作（海軍士官役）である。新東宝時代に大友と組んだ小林悟監督によると、大友は「知りあうとなかなかいい人だった」とのことで、大蔵貢社長に「憎らしそうな男を選べ!」と言われた小林監督が、それならと大友を選んだのだという。これを大友に伝えると、「えー、じゃあ僕主役ですねえ、主役したこと無いですから、何十年もやってますけど、こんなの初めてです」と喜んでいたという。小林によると大友は温厚で、怖い顔をしていても性格柄、笑い顔が「いい人」の顔になってしまった。『怪談残酷幽霊』でも「その笑い顔やめてください」「じゃあもっと怖い顔でやるんですか？」というやり取りがあり、結局照明を下から当てて工夫したが、やはり優しい笑い顔になってしまったという。この場面の撮影が終わって一緒に飲んだ時に、大友は大笑いして「確かにいつも怖い怖いって言われるんだけど、優しいって言われたのは初めてです」と小林に言ったという。演技については、自分でプランをキチッと作ってくる人だったそうで、小林もこれに敬意を表して大友に合わせて撮るようにしていた。小林は「やっぱり大友さんうまいですね。なんていうのか表面だけじゃなくて、中から憎たらしいというか、そういうのが出てるんですね。あの顔で倍くらい憎らしさが出てくるんですよ」と語っている。中川信夫監督も、大友を高く評価していた一人だった。
1899年（明治32年）11月21日、宮城県仙台市に生まれる。旧制・東京音楽学校（現在の東京芸術大学）乙種師範科卒業。1923年（大正12年）から1929年（昭和4年）まで、旧制・大阪市立難波高等小学校（現在の大阪市立難波元町小学校）と同じく旧制の群馬県師範学校（のちの群馬師範学校、現在の群馬大学学芸学部）に音楽教師として勤務した。1929年、田谷力三、淡谷のり子らと松竹座チェーンのアトラクションに出演し、以後は歌手兼俳優としてカジノ・フォーリーやムーランルージュ新宿座、榎本健一一座などで活躍する。1935年（昭和10年）、成瀬巳喜男監督、P.C.L.映画製作所（現在の東宝スタジオ）製作の『乙女ごころ三人姉妹』に、浅草六区の不良役で映画デビューする。第二次世界大戦中は国策で作られた移動演劇隊のひとつである東宝移動文化隊に所属し、地方巡業や慰問活動の演劇に出演した。戦後は脇役俳優として、おもに東宝と新東宝の映画に出演して、1961年（昭和36年）の新東宝倒産まで映画を中心に出演。以後はテレビドラマにも活動の場を広げ、1973年（昭和48年）まで俳優として活躍した。また、新東宝時代には石井輝男と中川信夫の監督作品に多数出演して、個性派の中老脇役として活躍する。中川信夫監督作品『東海道四谷怪談』 ではお岩とともに亡霊となって伊右衛門を呪い殺す按摩の宅悦、『地獄』では物語のキーパーソンとなる地獄絵図に取り憑かれた日本画家・谷口円斎と、重要な役で出演した。脇役としての出演が多いが、大蔵映画で製作された小林悟監督作品『怪談残酷幽霊』（1964年）では主役もつとめている。
市長退任後の1982年には今治市から名誉市民を称号が贈られている。1985年11月22日に肺炎によって死去した（享年82）。
小掛の名前を有名にしたのは、しばしば繰り返されるオリンピックマラソン代表選考をめぐる（マスコミを中心とした）騒動である。選考委員のトップ（強化本部長）として大きな影響力を持つとされたため、実力の伯仲した選手を選考したりする場合その選考理由をめぐって小掛の意向が取りざたされ、結果として騒動と呼ばれる状況が時に生じた。ソウルオリンピック男子マラソンでは、陸連の強化指定選手が出場を半ば義務づけられていた福岡国際マラソンをけがで欠場し、びわ湖毎日マラソンで優勝した瀬古利彦が選出された。びわ湖毎日も選考レースの一つではあったため、強引に選考したわけではないが、出るべきであった福岡国際に出られなかった早稲田の後輩・瀬古への救済であるという批判も少なくなかった。瀬古の福岡欠場が決まった際に中山竹通は「自分なら這っても出ますけどね」と発言し、それが「瀬古、這ってでも出て来い!」などと挑発的な内容に歪めて報じられもした。バルセロナオリンピック(1992年)では選考競技会の大阪国際女子マラソンで好タイムながら日本人2位の松野明美と、同じく選考会である前年夏の世界陸上4位（日本人では2位）の有森裕子が比較の対象となった。本番が夏のレースであることから、松野が選考直前に記者会見で「私は火の国の女だから私の方が（有森よりも）暑さに強い」とアピールするような事態となり、マスコミもこの選考を興味本位に取り上げ「恣意的な選考」「不透明」などと日本中で批判が渦巻いた。有森が五輪本番で銀メダルを獲得して面目を保ったが、選考前後には、小掛の自宅に脅迫状や日本刀が送られてくるなど、大変な批判・いやがらせに見舞われた。2004年のアテネオリンピックの代表選考では、高橋尚子を推していたとされるが、強化本部長は既に外れ、委員10人中推したのは小掛1人だけで賛同は得られず、更に河野洋平会長も高橋の選考に否定的であったことから、高橋は選から漏れた。本番ではトップで選考されていた野口みずきが金メダルを獲ったため、結果的にはこのときの選考は大きな問題とはならなかった。これらの選考は毎回のように物議をかもしたが、女子マラソンを世界屈指の強国に育てあげた功績は大きい。陸上競技と五輪に情熱をささげ続けた生涯だった。特に長年に渡り強化を推し進めた「マラソン日本」の礎を築いた。小掛の通夜に参列した高橋尚子は、「シドニーの金メダルは小掛さんの情熱と信念があったから取れたと思います」と涙ながらに語った。