広島高等師範学校附属中学校（現在の広島大学附属高校）の一級下に桜田武。紙は級長で音楽もよくできた。同校から、第五高等学校を経て東京帝国大学法学部に進む。中学時代、14、15歳から近くの目黒キネマ（映画館）で、当時ナンバーワン･オーケストラだった波多野オーケストラ（ハタノ・オーケストラ）のメンバー（楽士）、主にベース奏者として、暗がりの中で無声映画の伴奏を行ったといわれる。当時は浅草帝国館（現在の浅草ROX）や新宿武蔵野館、銀座の金春館など各映画館にオーケストラがあり、紙のいた目黒キネマの大将は徳川夢声だったという。無声映画の伴奏は、洋画の場合は外国から輸入した楽譜アルバムをメドレーのように演奏、邦画の場合は和洋合奏で「さくら」や「お江戸日本橋」などをユニゾンで揃えて演奏した。つまり映画館の中でオーケストラが映画の進行に合わせ、既成曲をメドレーのように演奏し、伴奏するのがこの時代の映画の音楽であった。これら劇場つきの楽団が、自分で適当な曲を選ぶため、同じ映画でも、Aの劇場とBの劇場の小屋では音楽が別々となる。それがトーキーとなって、事情は一変した。音楽はフィルム自身に焼きこまれて、その場面場面に合わせて、一定の音楽がきこえるという仕組みになり、その音楽を選曲、あるいは作曲して、演奏する音楽監督なるものが必要となった。このときから映画音楽の歴史が始まるが、その最初の一人が紙である。第五高等学校では同校の蹴球（サッカー）部創設に参画した。東京帝国大学二年のころから、山田耕筰が主宰し近衛秀麿が結成した日本初の本格的なクラシック楽団・新交響楽団（NHK交響楽団の前身）にコントラバスで参加し首席を務める。1920年代初頭は、関西ではジャズが盛んであったが、まだ東京ではジャズは黎明期であった。六大学の学生達がアマチュア・バンドで始めたものをきっかけとして盛んとなっていったが、紙はクラシック奏者でありながら、草創期のジャズ界に身を投じた進歩的な音楽家で、サックス奏者としてそれらのバンドに加わったり、自らバンドを率いて、やがて日本初の本格的ジャズマンとして知られるようになった。1925年、NHK（JOAK）が本放送を開始する。NHK嘱託の堀内敬三がジャズ番組を手がけ、日本交響楽団内でジャズに精通した紙らが、この番組で生演奏するため「東京ブロードキャスターズ」と名乗るバンドを結成した。これが日本で最初のメジャーなジャズ・バンドともいわれる。選曲と編曲は紙が担当、紙はコロムビア・レコードの編曲者も兼ねており、紙らが演奏した曲で評判がよかったものがレコードとなった。また当時日本のジャズには歌はなかったが、ジャズ大衆化のため歌（ジャズソング）を入れることになり、このバンドについた2人のボーカル・二村定一と天野喜久代が売り出され、まだ流行歌というものが無い時代に大きなブームを呼んだ。1926年東京帝国大学卒。1928年、紙がバックを務めた二村の歌「青空／アラビヤの唄(AB両面)」がコロムビア・レコードからが発売され大ヒットした。これは日本最初のジャズレコードといわれ、歌を入れたジャズもこれが日本初。このため二村は日本のジャズ・シンガーの草分けとされ、日本の流行歌手の草分けともいわれる。二村＝紙のコンビが日本で最初のレコード・ジャズ・ミュージシャンとなる。1929年、当時のコロムビア社長・H・ホワイトに勧められ、同社専属バンド「コロムビア・ジャズ・バンド」の結成に中心として参加し、指揮者として同社の作品を次々と発表し多くのジャズ・レコードをヒットさせる。このバンドは日本ジャズ史に残る最高水準のジャズ・バンドだったらしい。1931年、南カリフォルニア大学に留学。ジャズにクラシックの手法を取り入れたシンフォニック・ジャズを学ぶ。2年後の1932年帰国して同年6月、日比谷公会堂で当時世界を風靡していたシンフォニック・ジャズの演奏会を日本で初めて開いた。ここでファーディ・グローフェ他、ジョージ・ガーシュウィンの『ラプソディ・イン・ブルー』を指揮・紙、ピアノ・和田肇により日本初演して大喝采を浴び、シンフォニック・ジャズ運動を興した。このニュースを聞いた服部良一は焦って上京したとされる。またポール・ホワイトマン楽団のスペシャル・アレンジメントの『ラプソディ・イン・ブルー』を、NHK交響楽団の流れを組む「コロナ・オーケストラ」で指揮してJOAKで放送、これも大反響を呼んだ。同年には新映画社の依頼で村田実、田坂具隆共同監督の『昭和新撰組』の劇伴を手掛けた。これが紙が手掛けた映画音楽の第1作である。また「松竹歌劇団」の音楽監督を務め水の江滝子ら出演のショー・『タンゴ・ローザ』の音楽を担当し、松竹歌劇史上最大のヒットとした。主題歌も大ヒットした。さらに10月には火災焼失から新装開店した赤坂溜池の人気ダンスホール「フロリダ」で南里文雄らが結成した新バンドのアレンジを担当、絶えずアメリカから楽譜を取り寄せ、他に先んじて新しい曲を演奏した。また日本に於けるオーナー・ドライバーのハシリといわれる。1933年2月には、この年から翌年にかけて日本ジャズ界を席巻した日系2世の歌姫・川畑文子の日本初歌唱を指揮し、ラジオで放送した。この時、のちPCL映画（写真化学研究所のち東宝）の代表者となる森岩雄が訳詞を手がけた『三日月娘』などが歌われた。1年で松竹歌劇は辞め、国産トーキーが作られ始めたこの頃、PCL映画の発足（1933年12月）で代表者（製作部長）・森岩雄にジャズ風ミュージカルもこなせる専属オーケストラの結成を勧め、同社初代音楽部長に就任する。同1933年には「コロナ・オーケストラ」から引っ張ったプレーヤーを中心に「PCLオーケストラ」を結成し、ポピュラー音楽やジャズにクラシックを音楽の手法を取り入れた映画音楽を次々発表した。自ら楽団の指揮もとる気の入れようで、以後19本の作品の音楽監督を担当。PCL自主製作第1回作品で日本初の本格的音楽映画といわれる木村荘十二監督の『ほろよひ人生』、成瀬巳喜男監督初のトーキー作品『乙女ごころ』、山本嘉次郎監督『エノケンの青春酔虎伝』、内田吐夢監督『裸の町』などの音楽を手掛け、日本の初期映画音楽、特に日本のミュージカル映画を形作った。1936年の『兄いもうと』では、指揮者の近衛秀麿を引き入れて撰曲と演奏を担当させ、シューベルトの『ます』やモーツァルト、ハイドン、メンデルスゾーン、リストなどの既成古典曲を紙が巧に編曲して、トーキー映画としては風変わりな試みをやった。服部正はこの時代の同僚・後輩。なお初期トーキーではフィルムの画像とサウンドトラックとが分離して処理できず、撮影と音楽のダビング(録音)とを同時に行わなければならなかった。このため撮影に音楽班も参加し俳優が演技をしてる脇で演奏した。「コロナ・オーケストラ」は映画音楽吹き込みの他、帝国ホテルや日劇公演、ラジオ出演など幅広く活動した。また1936年には満鉄映画に招かれ記録映画『秘境熱河』の音楽を手掛けている。「コロナ・オーケストラ」は1937年東宝映画の発足で「東宝映画音楽部」となり、のち「東宝交響楽団」となった。1937年PCLが合併吸収されて発足した東宝は参加せず、映画音楽との直接のタッチはそこで終る。1938年、松竹が新しく発足させた「松竹楽劇団」の初代楽長（総指揮者）に招かれる。「松竹楽劇団」は「松竹歌劇団」や「宝塚歌劇団」とは違い男女共演のショーチームで、当時松竹の翼下にあった帝国劇場を本拠に、これまでにない画期的なショーを作ろうという狙いがあった。副指揮者に中国慰問旅行帰りの服部良一を迎えた。この公演で大阪で売り出していた笠置シヅ子が東京デビューした。劇団は高い水準を誇ったが紙は約半年で退団し、その後は服部が後任を務め、音楽ショーを中心とした意欲的な公演を続けた。その後時代的にジャズは、敵性国家の音楽として排撃対象となっていったため、戦意高揚のための軍歌やクラシック管弦楽組曲の作曲を行い太平洋戦争中には軍の要請で対米英音楽謀略班を編成、海外放送でジャズを流したりした。戦時下の1942年に出した交響組曲『ボルネオ』、1944年の『木琴と管絃楽のための協奏曲』は代表曲とされる。戦後1945年末、東京宝塚劇場は占領軍に接収されアーニー・パイル劇場となったが、1946年GHQの音楽監督となり、「アーニー・パイル劇場専属オーケストラ」の指揮者として6年間君臨。以降、戦後のジャズ第一人者としてジャズ音楽界をリードした。紙の指揮で演奏した中には、後にNHK大河ドラマの作曲などを手がける林光もいた。英語が堪能なことから占領軍の需要に対して日本側のボスとして占領軍との様様な交渉事にあたる。敗戦で占領軍が駐留し非常に多くのジャズ演奏楽団を要求。乱雑化した日本人演奏家と需要占領軍とのトラブルを防ぐために、毎週テストを行い、演奏家一人ひとりにランクを与えて、そのランクに従って報酬を支払う制度を占領軍と作った。しかし演奏家の絶対量の不足で上級演奏家はそれに従ったが、中級以下はそれに従わず、1円でも報酬の良い所を探すべく白昼堂々と競市（音楽家の人身売買）が開かれた東京駅丸の内北口に連日、数年の間、多くの音楽家が集合したといわれる。渡辺貞夫は「戦後すぐ、ぼくがまだ高校生のころジャズを始めたんですが、当時ジャズの理論書は紙さんの『ジャズ編曲』という本しかなく、かじりついて読みました。1960年代後半にNHKのドラマで、紙先生が音楽を書き、僕が演奏する形でしばらく一緒に仕事をさせていただいたこともあります」などと述べている。1950年代初頭には、渡辺弘の「スターダスダーズ」や「渡辺晋とシックス・ジョーズ」らとともに空前のジャズブームを巻き起こした。その他、東海林太郎や灰田勝彦ら流行歌手の作曲・編曲・演奏、ラジオドラマやアニメーションの音楽や、1950年代半ばからは『透明人間』や『幽霊男』『蜘蛛男』などSFやホラームービーの映画音楽も手掛けている。この他、幾つか学校の校歌を作曲している。岩井直溥は紙に編曲や演奏法を学んだという。山下洋輔にジャズを教えた一人が紙のバンドでピアノを弾いた星野(宮川)文枝（宮川協三の姉）という。1952年、宝塚劇場の返還でバンドは解散し、名前だけ残した「アーニー・パイル・オーケストラ」を率いて米軍将校クラブに出演を続けたが、台頭する新人ジャズメンに押され、時代遅れとなった。法学士としての学識を買われ、多くの役職に付く。『日本ミュージシャンズ・ユニオン』の組織壊滅で、「バンドマンで一番頭が良い」とその再建を頼まれ、新たに『日本音楽家連合会（日音連）』を発足して会長に就任。著作権など音楽家の権利を守る組織づくりを最初に行った人物ともいわれ、アメリカのユニオンと同様労働組合の形態の導入を図り、渡辺弘理事長らとNHKとのギャラ交渉、外国人バンドを招聘するプロモーターとの交渉などで、長い年月会長職にあってミュージシャンの待遇改善に尽力した。しかし、ジャズマンでは珍しい東大法学部卒というエリート面、かつ権威好みの性格が嫌われ、また組合はアカだからイヤだという会員が多く周囲の協力を得られず、名ばかりの会長となって「ペーパー（紙）ユニオン」などと揶揄された。結局大きな成果は出ずに、1970年頃には日音連は実働のない組織体となり、他のミュージシャン達が立ち上げた『日本音楽家労働組合』が、現在の『日本音楽家ユニオンオーケストラ協議会』として発展した。1966年、映画『フラガール』（2006年）のモデルになった常磐ハワイアンセンター（現：スパリゾートハワイアンズ）の母体・常磐音楽舞踊学院顧問。この他、演奏家の著作権問題にも取り組み『芸能人健康保険組合』2代目理事長を務めるなど芸能界の向上に長年尽力した功績で藍綬褒章、1976年には勲四等旭日小綬章を受けている。1960～70年代には、NHKテレビ放送の音楽番組に頻繁に登場、クラシック、セミクラシックを中心にオーケストラ音楽の啓蒙的な活動を行なった。1981年死去。享年78。2005年に東京フィルハーモニー交響楽団が紙の楽曲を演奏するなど、近年再評価されている。