色彩について一番好きな色は紫。染めるのが一番難しい色だからという所以である。創立した美術図書の出版社名も「紫紅社」と紫の名が入っている。晩年、憲法黒をもう一度、研究したいと取り組み始めていた。また、京都の藍は田舎の藍とは違い、上品で洗練された美しさがあると、京都で染める藍の色へのこだわりがあった。よく季(とき)にあいたる色を着てください、黒や白などの無彩色ではなく鮮やかな色をぜひ、着てくださいと話していた。だが自身がよく着用していた服の色は茶色や黒が多かった。「ほんま、もう病気やな。」と自制が効かぬほど骨董への偏愛があった。やはり多く購入したものは裂である。購入したものの多くは吉岡コレクションとして御香宮神社内の蔵に収蔵されている。祇園の「今昔西村」「ちんぎれや」奈良・法隆寺の「古裂ギャラリー大谷」荻窪の「呂藝」をはじめとした店から古布を買い求めた。滅多に値切るなどせず、提示された額で購入したと、何度か吉岡と随行した人が言う。その他様々な事に興味を持ち、多趣味であった。競馬にも詳しく、どこそこの馬、馬主、調教師、騎手の話しをしてもタイムリーであった。これが食べたいと思えば、自ら料理も作っていた。料理の腕前は大した事ないと謙遜していたが、食した人の評では中々のものであったようである。貰い物や取り寄せた品物が増えると、友人や知り合いを自宅に迎えたり、馴染みの店で宴会を開くほど、みんなで楽しく過ごすことを好んだ。月に一回は同級生に声がけし、同窓会を開くほどであった。ユーモアを交えた話しをするのがうまく、よく次のことを言っていた。「京都生まれの奈良育ちの吉岡です。」「講座の内容はともかく、人を集める事には自信があります、というのが僕の売りで、集客には自信があるんです。」「外国のブランドばかり買わないでぜひ日本の物を買ってください。もちろん「よしおか」のものもどんどん買ってください。」好きな上方落語を聞いて冗談の話術が鍛えられたのかもしれない。自然を愛し、特に花に心を寄せていた。伝統工芸の次世代への継承に心を砕き、伊勢神宮の式年遷宮などで奉納品を納める工芸家の名前の公開を宮内庁に強く呼びかけ、名前を一部だけ公表してもよい事になったと話していた。