神奈川県横浜市中区馬車道の大店「平安堂薬局」の次男として生まれる。最終学歴は上智大学独文科中退である。戦前から昭和30年代初頭にかけて活躍した流行作家で、居住地である横浜を舞台にした作品を多数執筆。「ハマを代表するモダンボーイ」といわれた。旧制中学時代、馬車道にある生家から中区石川町五丁目に居を移し、勉強部屋で文学活動を開始。1925年から29年まで「清水孝祐」の名で、同人誌などに作品を発表する。デビュー作は「横浜貿易新報」(後の「神奈川新聞」)に連載した「波斯猫（ペルシャ猫）」。挿絵は戦前の文芸誌「新青年」のレギュラー拙筆者で遊び仲間の中村進治郎だった。1930年、中央公論が企画した文芸アンデパンダン展において「街の国際娘」が第一席に選ばれたことを機に、新たなペンネーム「北林透馬」を名乗る。以後「新青年」などに作品を発表し、名声を得た。昭和初期の都市風俗小説や犯罪小説、ミステリー小説を得意とし、いくつかの作品が映画化されている。幼なじみで二歳年上の劇作家・鈴木余志子と1934年に結婚。媒酌人は岡本綺堂。1942年、陸軍報道班員として徴用され、豊田三郎、高見順、清水幾太郎、山本和夫、小田嶽夫、榊山潤らと共にビルマ（現ミャンマー）に赴任。同年6月から軍事放送局「全緬甸放送局」の立ち上げに参加した。石川町の自宅は父親がポルトガル人のダ・ローザという人物から譲り受けたもので、戦時中も疎開せずに留まりつづけたが、1945年の横浜大空襲により焼失。立派な洋館からバラックになっても終の棲家として離れることはなかった。終戦後は「横濱映画株式会社」の取締役として、本牧にあった米軍基地内の映画館ビル・チカリン・シアターの運営に携わる。また余志子夫人共々GHQの下部組織である「終戦連絡横浜事務局」にも勤務した。その後NHKラジオの「とんち教室」のレギュラー出演者となり、全国的な人気を博した。横浜ペンクラブ会長を勤めていたのも戦後のことである。晩年は二度にわたる脳溢血のため、十年にわたり病床に伏していた。
その後、義昭と信長の両属の家臣となり、永禄11年9月26日（1568年10月16日）の義昭の上洛に加わる。永禄12年1月5日（1569年1月21日）、三好三人衆が義昭宿所の本圀寺を急襲した（本圀寺の変）。防戦する義昭側に光秀もおり、『信長公記』への初登場となる。同年4月頃から木下秀吉（後に羽柴へ改姓）、丹羽長秀、中川重政と共に織田信長支配下の京都と周辺の政務に当たり、事実上の京都奉行の職務を行う。同年10月、信長と義昭が意見の食い違いで衝突して信長が突如として岐阜に戻ってしまう。永禄13年（1570年）正月に信長は義昭の権限を規制する殿中御掟を通告するが、宛先は光秀と朝山日乗で、義昭は承諾の黒印を袖に押し信長へ返している。同日、信長名で「禁裏と将軍御用と天下静謐のために信長が上洛するので、共に礼を尽くすため上洛せよ」との触れが全国の大名に出される。続いて同年3月1日（1570年4月6日）、信長は将軍から離れた立場で正式に昇殿し、朝廷より天下静謐執行権を与えられる。元亀元年4月28日（1570年6月1日）、光秀は金ヶ崎の戦いで信長が浅井長政の裏切りで危機に陥り撤退する際に池田勝正隊3,000人を主力に、秀吉と共に殿（しんがり）を務めて防戦に成功する。同年4月30日（1570年6月3日）には丹羽長秀と共に若狭へ派遣され、武藤友益から人質を取り、城館を破壊して5月6日帰京する。またこの頃、義昭から所領として山城国久世荘（現・京都市南区久世）を与えられている（『東寺百合文書』）。同年9月の志賀の陣にも参陣しているが、兵力は300人から400人と大きくなく、戦の小康状態の時に宇佐山城を任され、近江国滋賀郡と周囲の土豪の懐柔策を担当した。元亀2年（1571年）には、三好三人衆の四国からの攻め上りと同時に石山本願寺が挙兵すると、光秀は信長と義昭に従軍して摂津国に出陣した。同年9月12日の比叡山焼き討ちで中心実行部隊として（和田秀純宛「仰木攻めなで切り」命令書）武功を上げ、近江国の滋賀郡（志賀郡:約5万石）を与えられ、間もなく坂本城の築城にとりかかる。柴辻俊六は光秀と他の幕臣及び織田家家臣との文書の連署状況や、滋賀郡の拝領が信長に没収された延暦寺領の処理の一環として佐久間信盛らと同時に与えられていることから、宇佐山城に入った時点の光秀の身分は幕臣であったが、滋賀郡を与えられたのを機に織田家の家臣に編入されたとみる。同年12月頃に義昭に「先の見込みがない」と暇願いを出すが（曾我助乗宛暇書状）、不許可となる。なお、暇願い提出の原因として旧延暦寺領の支配を任された光秀が信長と敵対したことを理由に所領の押領を図り、義昭の怒りを買ったからとするする説があり、結果的に信長と義昭の対立の一因を光秀が引き起こした可能性もある。元亀3年（1572年）4月、河内国への出兵に従軍した折では、まだ義昭方とする史料がある。元亀4年（1573年）2月、義昭が挙兵。光秀は石山城、今堅田城の戦いに義昭と袂を別って信長の直臣として参戦した。信長は将軍を重んじ義昭との講和交渉を進めるが成立寸前で、松永久秀の妨害で破綻する。同年7月にまたも義昭が槇島城で挙兵し、光秀も従軍した。義昭は降伏後に追放され、室町幕府は事実上滅亡した。旧幕臣には伊勢貞興ら伊勢一族や諏訪盛直など、その後、光秀に仕えた者も多い。同年、坂本城が完成し、居城とした。天正元年（1573年）7月に村井貞勝が京都所司代になるが、実際には天正3年（1575年）前半まで光秀も権益安堵関係の奉行役をして「両代官」とも呼ばれ連名での文書を出し単独でも少数出している。京都と近郊の山門領の寺子銭（税）も徴収している。朝倉氏滅亡後の8月から9月まで、羽柴秀吉や滝川一益と共に越前の占領行政を担当し、9月末から溝尾茂朝（三沢秀次）、木下祐久、津田元嘉が代官として引き継いだ。天正3年（1575年）7月に、惟任（これとう）の賜姓と、従五位下日向守に任官を受け、惟任日向守となる。