東京府士族の鵜野二弥と、佐賀県士族の綾（旧姓：徳久）の間に長男として出生。軍事会社の工場の副所長であった父の転勤に従い各地を転々とし、奉天から敗戦で引き揚げた。満州時代、小学校5～6年のころ、盗みを働いて捕まり、ロシアの司令官の邸宅で全裸のまま給仕をさせられたことがある、という。1955年（昭和30年）福岡県立修猷館高等学校から東京大学文科II類に進学。1959年（昭和34年）同学文学部国文学卒、同学大学院に進学。1961年（昭和36年）学位論文『原始古代日本文化の研究』で文学修士。1968年（昭和43年）同学大学院博士課程満期退学。大学在学中に『半世界』の同人になり、1961年に自らの同人誌『螺旋』を創刊。同誌に発表した短篇『光の飢え』が『文学界』に転載され、芥川賞候補作となった。翌1962年（昭和37年）、『鯨神』で第46回芥川賞受賞。同作は直ちに大映で映画化された（監督:田中徳三、主演:本郷功次郎、勝新太郎）。この時の原作料として、大映から100万円を示される。濃厚なエロティシズムを湛えた文体と、評論や紀行文等で見せる博覧強記ぶりも知られていたが、自分と似た境遇に育った三島由紀夫の一件以降、純文学の筆を折り、官能小説の世界に本格的に身を投じた。「あたし〜なんです」等、ヒロインのモノローグを活用した独特の語調は、夕刊紙やスポーツ新聞への連載で一時代を築き、金子修介の劇場公開初監督作品『宇能鴻一郎の濡れて打つ』など、数十本が日活ロマンポルノなどで映画化されている。1972年（昭和47年）以降、嵯峨島 昭（さがしま あきら）の別名で推理小説も執筆。当初は覆面作家だったため、音読みすると「(正体を)探しましょう」と読めるペンネームを用いた。警視庁の酒島章警視を探偵役に、当初はシリアス路線で・途中からグルメや旅行をテーマにしたドタバタ調に転じて、多くの作品を発表している。なお、グルメ知識に関しては官能小説による多額の収入を投入して蓄積した本格的なもので、これらの後書きでは、文壇のグルメ批判（食の薀蓄を語ることは卑しい行為であるなど）に強く反論している。1990年代半ば以降寡作化し、2005年に初期傑作集『べろべろの、母ちゃんは…』を刊行、2006年に『日刊ゲンダイ』の連載を終了して後は新作の発表がなかったが、2014年『夢十夜 双面神ヤヌスの谷崎・三島変化』で、純文学作家として復活。鎌倉を自宅とし、軽井沢にも別邸を持ち、横浜市金沢八景の敷地600坪の洋館で老秘書を従え、社交ダンスのパーティを開くなどの貴族的な暮らしぶりが伝えられる。
1904年、京都にて16代続いた老舗呉服・染物屋の長男に生まれる（京染め悉皆業の長男と表現する資料もある）。実母を亡くした後、継母との仲に悩んだ末、放浪を繰り返し、その後、18歳の時に上京する。小石川区の旧制私立豊山中学校（現日本大学豊山高校）定時制卒業。城米が文筆家の道を歩み始めたのは、神田区役所（現千代田区役所）に勤務していた1931年のこと。小説家の武者小路実篤のもとに税金の督促に赴き、そこで感化されたことによる。実篤の「新しき村」の活動に共感し、参加。詩や小説の執筆を開始し、その後、スケッチにも取り組んだ。「新しき村」の活動においては終戦直後の混乱期に東京支部長を務めた。また、その頃にガリ版手作りで月刊「城米彦造詩集」の発行を始め、途中中断をはさみつつ、全部で232冊におよんだ。戦中は軍需工場に勤めていたが解雇され、第二次大戦後、経済的に困窮。妻が教職で家計を支えていたが、子どもを3人抱える生活の中、城米はガリ版刷りの自作詩集を販売することを思いたち、1948年6月、国鉄有楽町駅の日劇口にて毎晩、詩集の手売りを始める。「僕が作った「詩」　僕自身で詩集にし、僕自身、賣ってゐるものです。よかったら買ってください。街頭詩人」と書かれたプラカードを胸に下げ、シルクハットを被ったサンドウィッチマンのスタイルで詩集を販売。飾らない言葉で綴られた詩は、家族愛や夫婦愛、日常風景を主題としており、さらに、詩には淡い色遣いによるぬくもりある東京の町並みの自作絵が添えられた。詩集は一冊20円（屋台の焼き芋一皿と同額）だったが、それらの詩と挿絵が人気を呼び、駅を利用する勤務者や活字に餓えていた学生の中から城米のファンとなる者が現れ、「ひげの街頭詩人」と呼ばれた。武者小路実篤は「城米のスケッチは詩の心がにじみ出ている」と評価している。約10年間、路上詩人の生活を続けた後、水彩画に活動の中心を移す。東京市街や故郷の京都の風景を描いた城米の作品は、高度成長期を迎え、次々と消え去っていった戦後の風景を描き留めることとなった。さらに、歌川広重の「東海道五十三次」の風景を描く旅を続けたり、千代田区界隈をスケッチしたり、ライフワークとして96歳になるまでスケッチを続けた。家庭にあっても家族の前で詩を朗読したり、子どもに詩作を指導するなど、表現の大切さを伝えたという。また、「新しき村」の村外会員でもあった。最晩年にも神田法人会の機関紙の表紙絵を手がけるなど活動を続け、2006年5月、102歳にて没。その後、絵ハガキが発売されている。城米彦造記念会が運営され、また、有楽町駅のある中央区や千代田区の公共施設、銀座のギャラリー、その他、全国の施設で回顧展が開かれている。