1908 wanderte Ruppin in Palästina ein. Er übernahm die Leitung des neu geschaffenen Palästinaamtes, der offiziellen Vertretung der Zionistischen Weltorganisation, in Jafo (Eröffnung am 1. April 1908); ihm zur Seite als Stellvertreter stand Jacob Thon (Ja'acov Tahun, יעקב טהון). Auf Ruppins Unterstützung geht unter anderem die Gründung der Stadt Tel Aviv zurück. Er gehörte zu den Befürwortern eines praktischen Zionismus und strebte eine jüdische Besiedlung Palästinas an. 1920 gewann Ruppin den Frankfurter Architekten Richard Kauffmann für die Leitung des Planungsbüros der "Zentralstelle für Besiedlungsangelegenheiten" beim Palästinaamt, der den nördlichen Ausbau Tel Avivs und viele ländliche Siedlungen projektierte. 1925 war er Mitbegründer des Friedensbundes Brit Schalom, der an Juden und Araber appellierte, ihre nationalen Bestrebungen aufzugeben und ein binationales Gemeinwesen vorschlug, änderte aber nach dem Massaker von Hebron (1929) seine Meinung, verließ die Brit Shalom und forderte einen jüdischen Staat.