Üsküdar Bağlarbaşı'ndaki Fransız okuluna devam ettiği yıllarda futbola merak sardı. Black Stockings'te futbola başladı. İlerleyen dönemlerde I. Dünya Savaşı'nda Çanakkale Cephesi'ndeki mitralyöz bölüğüne asker olarak alınınca futbolu bırakmak zorunda kaldı. Ancak, çevresindekilerin beyanlarına göre ölümüne kadar Fenerbahçe taraftarı olarak futbola olan ilgisi devam etmiştir. Tarihçi Murat Bardakçı'ya göre kendisinin önceden tekke olan evi günümüzde Şükrü Saracoğlu Stadyumu'nun hemen yanı başındaydı. Geniş bir bahçeye sahip olan bu ev, 1950'li yıllarda yıktırılarak onun yerine dört katlı bir bina yapıldı. Yusuf Fahir Baba ise bu binanın üst katında yaşıyordu. Zamanla stadyumun genişleme çalışmaları sonucunda Yusuf Fahir Baba'ya ait tekkenin geniş bahçesinin bir kısmı stadyumun içinde kaldı. Murat Bardakçı Habertürk'deki iki yazısında stadyumun Yusuf Fahir Baba tarafından korunduğunu, bu sebepten de Fenerbahçelilerin bu şeyhe saygısızlık yapmadıkları sürece Kadıköy'de Fenerbahçe'nin yenilmesinin zor olduğunu iddia etmiştir.