そこで会社が担ぎ出したのが、地元山梨県出身で数々の鉄道会社経営に関わりその辣腕を見せつけていた雨宮敬次郎であった。「軽便王」とあだ名されたくらいに軽便鉄道運営に力を注いだ雨宮はこれを引き受け、1905年5月に一旦同じ実業家の小野金六との共同経営にした後、新会社山梨軽便鉄道を設立して翌1906年12月1日に山梨馬車鉄道の路線を譲り受けた。なおこの際、本社を市街地北東部の下一条町から市街地南の太田町に移転している。当初は雨宮もかなり経営には苦労したようで、「軽便」の社名通りに当社の路線を馬車鉄道から蒸気動力化・電化することを考えて申請を行ったが失敗し、さらに1907年には大洪水で全線不通となってしまい、「洪水で大打撃を受けた上に石和方面の路線は競合が激しくて駄目かも知れない」と鉄道省への報告書の中で弱音を漏らしたりもしている。そのような失敗や低迷があったにもかかわらず、大正に入ると急速に経営が立ち直ってついには前身の山梨馬車鉄道時代よりも隆盛を極めることになり、株主への配当が最高で7割にまでなった。この大正中期、1920年前後が同線の全盛期だったと言ってよい。
鰍沢への路線を合併した頃、山梨馬車鉄道は隆盛に達した。ちょうどこの頃中央本線がようやく県内に達し、そこから先で勝沼方面の路線が連絡輸送手段として盛んに利用されるようになったのである。鰍沢方面でもいまだ衰えぬ富士川の舟運と連携して甲府周辺の貨物や身延山への観光客の輸送に活躍し、まさに大入満員の状態であった。しかし1903年に中央本線が甲府まで開通すると、それまでは勝沼方面の路線で恩恵をもたらしてくれていた同線が並行路線となり、途端に強大な商売敵としてのしかかって来た。勝負をしようにも片や官鉄、片や馬車鉄道では勝負にすらならず、山梨馬車鉄道は勝沼方面の旅客をすべて奪われてしまった。さらに鰍沢方面の路線でも、上述の「富士川の舟運に影響はないだろうしうちも大丈夫だろう」という当初の会社の楽観的な予測は見事に外れ、開通した途端に人も貨物も一斉に中央本線へ流れて舟運の輸送量は5分の1近く、売上高は半分以下とすさまじい減少に転じてしまい、舟運の存在を前提としている路線の運営に大きな打撃となった。やむなく会社は勝沼方面では1904年2月に勝沼 - 石和間を廃止して被害を最低限に食い止めるとともに、鰍沢方面では貨物輸送よりも旅客輸送の方に重点を置きながら運営することにし、さらに同年12月27日には甲府駅の駅前まで支線を延ばして路線をT字形に編成し直すなどして何とか状況に適応しようとした。だが悪いことは続くもので、折から開戦した日露戦争のために行われた軍馬徴発の対象となり、馬車鉄道の動力である馬を全部軍馬として持って行かれてしまうという災難に遭う。中央本線という強大な存在に大打撃を負わされた会社にとってはまさに傷口に塩を塗りつけられたも同然で、ここまで来るとその傷も簡単に癒えるものではなくなりぼろぼろの状態であった。
寿永2年（1183年）5月、平氏の北陸追討軍が木曾義仲に撃破されたことで（倶利伽羅峠の戦い）、今まで維持されてきた軍事バランスは完全に崩壊した。7月22日、義仲軍は延暦寺にまで到達したため、議定が開かれて対策が協議される。24日、安徳天皇は院御所・法住寺殿に行幸し、時忠も供奉した。京都防衛を断念した宗盛は、勢力挽回のために後白河法皇・安徳天皇らを奉じて西国に下向する準備を進めていた。25日未明、平氏の意図を察した法皇は、法住寺殿から比叡山に脱出する。宗盛はやむを得ず、安徳天皇と二宮（高倉の第二皇子・守貞親王、後の後高倉院）だけを連れて都を退去した。時忠は閑院内裏に向かい、内侍所（神鏡）を取り出してから都落ちに同行した。貴族は続々と後白河法皇の下に集結し、親平氏派の筆頭である摂政・近衛基通や一門の頼盛も京都に残留する。安徳天皇および平氏に付き従った貴族は、わずかに時忠・時実・信基・藤原尹明に過ぎなかった。27日、後白河法皇は都に戻り、翌日に開かれた議定において平氏追討が決定した。8月6日に平氏一門は一斉に解官されるが、法皇は安徳天皇の帰京・神器の返還を交渉するため、時忠の解官は見送っている。もっとも交渉は不調に終わったらしく、16日には時忠も解官となった。法皇にとって平氏が安徳天皇を連れて逃げていったのは不幸中の幸いであり、平氏の占めていた官職・受領のポストに次々と院近臣を送り込んで政治の主導権を確立すると、8月20日、都に残っていた四宮（高倉の第四皇子・尊成親王、後鳥羽天皇）を践祚させた。この知らせを聞いた平氏の人々は「三宮、四宮も引き連れていくべきだった」と悔しがるが、時忠は「その場合は、義仲が擁立している以仁王の皇子（北陸宮）が皇位につくだけのことだ」と冷めた見方をしている。元暦元年（1184年）2月7日、平氏は一ノ谷の戦いで大敗する。この戦いの後、法皇が神器の返還を求めて派遣した御坪の召次・花方という使者に、時忠が「浪方」という焼印を顔面に押して追い返したという逸話が『平家物語』「請文」の段にある。花方については、語り本系には見られるが読み本系の古態とされる延慶本には記されていないこと、院宣の使者としては身分が低すぎることから創作の可能性もある。ただし、『山槐記』に誰の手によるか不明だが院の使者が平氏によって面に印を着けられたとあり、平氏による苛烈な使者への仕打ちは事実と思われる。一ノ谷の戦いの敗因には、後白河による虚偽の和平提案・源氏の不意打ちがあったとされ、平氏の後白河法皇への恨みは激しいものがあった。平氏はこの敗戦の打撃からついに立ち直れず、翌元暦2年（1185年）3月24日、壇ノ浦の戦いで壊滅した。