ınlarında, hattın Yahudi çıkarlarına hizmet etmediği endişeleri de dile getirildi. Ünlü bir Avrupalı Yahudi olan H. Guedella, The Jewish Chronicle (Yahudi Günlüğü) adlı kitabında demiryolu hattının "aşırı ortodoks Katolikler" tarafından finanse edildiğini ve İbranice yayın yapan "Havatzelet" gazetesinde, hat için hiçbir Yahudi yatırımcının bulunamadığı ve bunun bir hayal kırıklığı olduğunu yazdı. Şirketin parası tükendiğinde, Navon Almanya, Belçika ve İsviçre'deki yatırımcılardan daha fazla para temin etti. Bunula birlikte, 1892'de hattın hisseleri nominal değerinin altına düştü. Navon, Theodor Herzl'den de dahil olmak üzere, daha çok kişiden para toplamaya çalıştı. Ancak Herzl projeyle ilgilenmiyordu ve ""Yafa'dan Kudüs'e kadar olan sefil küçük hat elbette ihtiyaçlarımız için yetersizdi"" diye yazdı.

31 Mart 1890'da Yazur'daki temel atma törenine Kudüs Mutasarrıfı (Filistin Valisi) İbrahim Hakkı Paşa, Gazze Müftüsü, Yosef Navon, Johannes Frutiger ve daha birçok kişi katıldı. Hat için, Fransız minor demiryollarına benzer şekilde (3 ft 3 3⁄8 inç) hat açıklığı tercih edildi, ve raylar Belçikalı üretici Angleur tarafından Fransa'dan getirildi. New York Times'a göre, hem demiryoluna ait malzemeler hem de demiryolu araçları Ferdinand de Lesseps'in sahibi olduğu Panama Kanalı Şirketi'nden satın alınmıştı. Ancak rayların üzerindeki damgalarda rayların Belçika'da üretildiğini yazıyordu. Anthony S. Travis de Panama Kanalı iddiasını reddeti. Limandan demiryolu şantiyesine malzemeleri kolaylıkla nakletmek için, Yafa Limanı ile Yafa Tren İstasyonu arasında (1 ft 11 5⁄8 inç) hat açıklığında kısa bir demiryolu hattı inşa edildi.

İnşaat işçileri çoğunlukla Mısır, Sudan ve Cezayir'den getirilirken, mühendisler ise İsviçre, Polonya, İtalya ve Avusturya'dan getirildi. Yerli Filistinli Araplar da işin içine yoğun bir şekilde dahil olmuştu, ancak Arapların çoğu çiftçiydi ve yalnızca belirli mevsimlerde çalışıyorlardı. Ayrıca Beytüllahim ve Beit Jala'dan gelen taş ustaları, Yahudiye tepelerindeki inşaata yardımcı oldular. Tıbbi tedaviye rağmen, önemli sayıda işçi sıtma, iskorbüt, dizanteri ve çeşitli diğer hastalıklardan öldü. Yafa'dan Kudüs'e ulaşmak için yapılan kaya tıraşlama işlemleri sırasında yaşanan inşaat kazalarında da pek çok işçi yaşamını yitirdi. Hat boyunca çok sayıda köprü inşa edildi. Kısa olan köprüler taştan, uzun olan köprülerin yedisinden altısı Gustave Eiffel'in sahibi olduğu Eiffel Şirketi tarafından tedarik edilen demirden inşa edilmişti. Demiryolunun işletimi için gerekli olan su, Yafa, Ramla ve Battir'deki kuyulardan ve Sejed'de bulunan bir pınardan alındı. Battir ayrıca Kudüs Tren İstasyonu'na da su sağladı.

Demiryolu üzerindeki ilk test denemesi Ekim 1890'da yapıldı. Bu etkinlik, Yafa'daki nüfusun yarısından fazlasına denk gelen 10.000 gözlemcinin izlediği bir olaydı. Test sürüşünde kullanılan lokomotif ise hat için üretilen ilk üç Baldwin 2-6-0'dan biriydi, ve Amerikan ve Fransız bayrakları taşıyordu. Yafa–Ramla bölümü 24 Mayıs 1891'de tamamen halka açıldı. Aynı yıl 4 Aralık'ta Dayr Aban Hattının bir kısmı daha hizmete girdi. Fransız demiryolu şirketi, Yafa ve Kudüs'teki tren istasyonlarını mümkün olduğunca eski şehirlere (şehirlerin tarihi kısımlarına) inşa etmeye çalışırken, Osmanlı makamları şirketin bunu yapmasını engelledi ve istasyonlar şehirlerden göreceli olarak uzağa inşa edildi. Buna rağmen, istasyonların yapıldığı arazi demiryolu şirketi tarafından çok yüksek fiyatlarla satın alındı.

İlk tren 21 Ağustos 1892'de Kudüs'e ulaştı, ancak Kudüs Tren İstasyonu'nun hemen yakınındaki ray döşeme işlemleri henüz tamamlanmamıştı. Yafa ve Kudüs arasındaki ilk yolculu tren seferi 27 Ağustos 1892'de gerçekleşti. Demiryolunun inşası yerel koşullar altında çok iddialı bir girişimdi. Belçika'dan yüzlerce tonluk ray, İngiltere'den kömür ve Fransa'dan demiryolu demiri getirildi. Bu malzemeleri Yafa'nın ilkel limanından boşaltmak muazzam zor bir işlemdi. 1902'de Demiryolları Dergisi'ndeki bir raporda şöyle yazıyordu:

A. Vale, traverslerin 50 cm aralıklarla meşeden yapılmış ve 22 cm genişliğinde olduğunu yazdı. Raylar metre başına 20 kilo ağırlığındaydı ve çivilerle traverslere bağlanmıştı.

Hat resmi olarak 26 Eylül 1892 tarihinde açıldı. Ancak trenle yolculuk, orijinal planda öngörülen 3 saatlik sürenin aksine yaklaşık 3.5 ile 6 saat arasında (at arabasıyla seyahat ile yaklaşık aynı süre) sürmekteydi. Buna rağmen, açılış etkinliği dünya çapında medyada yer almıştı. Yosef Navon, projede yer aldığı için Fransız Légion d'honneur (Şeref Nişanı) ile ödüllendirildi, bir Türk madalyası ve 1895 veya 1896'da da Bey unvanı aldı.

1892'de demiryolunun günlük kazancı günlük inşaat giderlerinden yaklaşık %20 oranında daha düşük olan bir mali açık verdi. Yük taşıma geliri toplam gelirin yaklaşık üçte ikisini oluşturuyordu. Projeye dahil olan yatırımcılar ve şirketler bu durumdan dolayı zorlandılar, özellikle J. Frutiger'ın bankası, Navon'un yatırımlarının tasfiye edilmesine neden oldu. Turist trafiği beklenenden daha düşüktü ve bakım sorunları ortaya çıktı. Her gün yalnızca tek yönde bir trenin sefer yapmasına izin verildiği için seyahat süresi 6 saate kadar uzamıştı. Bir Kudüs–Yafa treni sabah Kudüs'ten ayrıldıktan sonra ancak öğleden sonra tekrar Kudüs'e dönüyordu. E. A. Reynolds-Ball, o zaman zarfında yazılmış rehber kitabı, Kudüs ve Çevresi İçin Pratik Bir Rehber kitabında şöyle yazdı: "Tren zahmetli şekilde dik rampayı tırmanırken, benim kendimin de zaman zaman yaptığı bir beceri olan, trenden atlamak ve hat boyunca çiçekleri toplayıp tekrardan trene binmek sadece sıradan bir faaliyet düzeyi gerektiriyordu."

Mayıs 1894'te, tüm sorunların ışığında, Société du Chemin de Fer Ottoman de Jaffa à Jérusalem et Prolongements yeni bir finansman girişimi başlattı ve çok sayıda yatırımcı çekmeyi başardı. Yeniden örgütlenme girişimi hattın verimliliğinin artmasını sağladı ve turizm imkanı arttı, ancak Yahudi toprak alımları ve göçüyle ilgili Osmanlı kısıtlamaları turist trafiği üzerinde olumsuz bir etki yaptı. Ayrıca turizme zarar veren bir kolera salgını da vardı. Yük taşıma trafiği 1893 ile 1894 yılları arasında yaklaşık %50 arttı. 1895 yılında, demiryolu hattında iyileştirmeler yapıldı ve Yafa'da Chelouche Köprüsü olarak bilinen bir köprü inşa edildi, öte yandan Chelouche Ailesi Neve Tzedek şehrine fon bulunmasına yardım etti. Demiryolu 1897 yılı itibarıyla karlı hale geldi. Ancak, Selah Merrill 1898'de hattın iflas halinde olduğunu yazdı. Dahası, Yafa'dan Kudüs'e olan yolcu ve yük trafiği yüksek olmakla birlikte, yol boyunca çok az yolcu ve yük miktarı bulunmaktaydı.

Theodor Herzl, Ekim 1898'de Filistin'i ziyaret etti, ancak Yafa–Kudüs Demiryolu'ndan etkilenmedi. Hattın Siyonist girişim için önemli olduğunu düşünmüyordu, ancak bir başka Siyonist lider olan Zalman David Levontin, Mart 1901'de demiryolunu satın almaya yönelik bir plan hazırladı. Her durumda Filistin'deki Yahudi yerleşimi demiryolundan faydalandı. Baron Edmond de Rothschild, hat boyunda yer alan birkaç köyü finanse ederek, köylerin mali gelişimlerine katkıda bulundu. Kudüs'teki turistlerin hediyelik eşya ihtiyaçlarını karşılamak için 1906 yılında Boris Schatz tarafından bir sanat ve el sanatları okulu kuruldu.

Demiryolu şirketi, 1896 ile I. Dünya Savaşı arasında, 1902'de ve 1912'de tekrar Filistin'e yayılan Altıncı Kolera Salgını ve Osmanlı makamlarının gittikçe artan milliyetçi otoritesine rağmen genel bir büyüme eğilimi gösterdi. 1903 yılına gelindiğinde turistik mevsimler için daha fazla lokomotife ihtiyaç duyulduğu açıktı. Demiryolu şirketi, 1904 yılında Alman Borsig Şirketi'nden 0-4-4-0'lık bir Mallet Lokomotifi sipariş verdi. Lokomotif 1905'de hizmete girdi. İki lokomotif daha da 1908'de geldi. 1914'te üretilen son lokomotif ise muhtemelen savaş sırasında Britanya tarafından ele geçirildi ve Filistin'e hiç ulaşmadı.

I. Dünya Savaşı sırasında Türk ve Alman Orduları tarafından demiryolu devralınmış ve Sina ve Filistin Cephesi'nin ihtiyaçlarına hizmet edecek şekilde uyarlanmıştır. Alman mühendis Heinrich August Meissner demiryolundaki işleyişin sorumluluğunu üstlenmiştir. Başlangıçta Yafa Tren İstasyonu askeri karargah olarak görev yaparken, Osmanlıların demiryolunun İngiliz deniz bombardımanına maruz kalmasından çekinmesi üzerine 1915 yılı başında, ağır makine ve teçhizatların çoğu Kudüs'e taşınmıştır. Daha sonra aynı yıl hattın Yafa–Lod arasındaki kısmı tamamen sökülmüştür. Daha sonra sökülen raylar ve traversler Beerşeba Demiryolu'nun inşasında kullanılmıştır. Daha sonra Lod-Kudüs kısmı (3 ft 5 11⁄32 inç) hat açıklığında yeniden inşa edilmiş, ve Lod, Doğu Demiryolları vasıtasıyla Hicaz Demiryolu'na ve Tulkarim Şube Hattı vasıtasıyla Yezreel Vadisi Demiryolu'na bağlanmıştır.

İngilizlerin Kasım 1917'de kuzeye ilerlemeye başlamaları üzerine, demiryolu geri çekilen İttifak Devletleri ordusuna bağlı Avusturyalı sabotajcı askerler tarafından sabote edildi ve çoğu köprü (5 adet) havaya uçuruldu. Türk birlikleri demiryolu araçlarını ve ahşap raylardan istasyonun bazı bölümlerine kadar taşınabilir olan her şeyi yanlarında götürdüler. Ancak demiryolu harap edilmiş olsa bile, Kudüs'ten Mısır'a kadar olan tek uygun bağlantıyı sağladığı için yine de İngilizler için değerliydi. İmha edilmiş olan demir köprüler yerine ahşaptan Çatal Köprüler inşa edilmiş, ve ilk İngiliz treni 27 Aralık 1917'de Kudüs'e ulaşmıştır. Şubat 1918'de Yafa'dan Lod'a, o sıralarda cephe hattı olan Yarkon Nehri uzantısıyla birlikte, (1 ft 11 5⁄8 inç) hat açıklığında bir Dekovil hattı inşa edilmiştir. Dekovil hattı daha sonra Arap Köyü el-Celil'e (bugün Celile/Glilot bölgesi) ulaşmış, 1922-1923 yıllarına kadar lokomotif olmadan inşaat malzemelerinin taşınması için kullanılmaya devam edilmiştir. Bir başka uzantı da Yafa Tren İstasyonu'ndan 1928 yılına kadar faaliyete geçen limana inşa edilmiştir.

Daha sonra Kudüs'te dağların etrafında dolanarak Eski Şehir'e yaklaşan ve kuzeyde El Bireh'e kadar devam eden ikinci bir Dekovil hattı daha inşa edilmiştir. Bu ikinci dekovil hattının inşasına yakın