Nefsini terbiye etmek , kalp aynasını cilalamak için kendi kendine uğraşmaya başladı. Bu yolda bir hoca bulmanın şart olduğunu düşünerek , kitaplarını dağıttı ve Bursa’da bulunan Emir Sultan’ın huzuruna gitti. Talebesi olup , hizmetiyle şereflenmek istediğini bildirdi. Emir Sultan , Abdullah’ın tasavvuf yolunun aşkıyla yandığını görünce , onu evliyanın büyüğü Ankara’daki Hacı Bayram-ı Veli’ye gönderdi. Sonra Ankara’ya gidip , yeni hocasına teslim oldu.

Hacı Bayram-ı Veli hazretleri , Abdullah’daki kabiliyeti keşfederek ona nefsini terbiye edecek vazifeler verdi. Yaşı kırkın üzerinde ve büyük bir alim olduğu halde , hocasının emirlerine “ Başüstüne ” diyerek sarıldı. Kendisine verilen hela temizleme vazifesini , bütün gayretiyle yapmaya başladı. Nefsinin isteklerini terk edip , istemediklerini yapmak için büyük çaba sarfetti. Bu şekilde riyazet ve mücahedeye devam etti. Hocası Hacı Bayram-ı Veli’ye on bir sene hizmet etmekle şereflendi. Bu kadar zaman zarfında hocasının ; “ Üstadın huzurunda lüzumsuz konuşmak edebe aykırıdır.” Sözü üzerine , yanında bir kelime bile konuşmadı. Sadece sorulan suallere kısa ve öz olarak cevap verir , edebe , ziyade dikkat ederdi. Eşrefoğlu Abdullah , on bir sene içinde pek çok imtihandan geçti. Yaptığı güç işlerden hiç şikayette bulunmadı. Bu sabrı ve hocasına karşı muhabbeti ve hürmeti üzerine , Hacı Bayram-ı Veli kızı Hayrünnisa’yı ona nikah ederek zevceliğe verdi. Bir müddet daha hizmete devam eden Eşrefoğlu Abdullah , hocasından izin alarak Allahü tealanın emir ve yasaklarını bildirmek üzere İznik’e gitti. Orada kendi iç alemiyle baş başa kaldı. Hocasından ayrılığı onu yaktı , hasretine fazla dayanamadı ve tekrar Ankara’ya döndü. Hacı Bayram-ı Veli , damadını , tasavvuf yolunda derecelerinin ilerlemesi için tekrar İznik’e gönderdi. Orada kırk gün nefsini terbiye etmesi için halvete girmesini , sonra Ankara’ya gelmesini emretti.

İznik’e gidip geldikten sonra , hocasının ; “ Hama şehrinde Abdülkadir-i Geylani hazretlerinin torunlarından Şeyh Hüseyin Hamevi’nin huzuruna gidip , Kadiri yolunu öğreniniz.” buyurdu. Bu emri yerine getirmek üzere hazırlığa başladı. Hanımını ve biricik kızı Züleyha’yı bir merkebe bindirerek , Hacı Bayram-ı Veli ile vedalaştı. Günlerce zahmetli ve yorucu yolculuktan sonra , Hama’ya yeni hocasının huzuruna vardı.

O gün hacdan dönen Hüseyin Hamevi , ilahi bir ilham ile Eşrefzade’nin gelmekte olduğunu anlayarak , talebelerine ; “ Bugün Anadolu’dan bir er geliyor. Gidip karşılayınız.” buyurdu. Karşılamaya çıkan talebeler , zahmetli ve zorlu yolculuktan dolayı elbiseleri eskimiş olduğu için Eşrefoğlu Rumi yanlarından geçtiği halde , hocalarının söylediği zatın o olduğunu anlayamadılar. Dergahın kapısına varan Eşrefzade Rumi , Hüseyin Hamevi tarafından itibarla içeri alındı. Hanımı ve çocuğu ise Hüseyin Hamevi’nin hanımı tarafından kendilerine ayrılan odaya götürüldü. Hüseyin Hamevi bu yeni talebesinin önce nefsini terbiye etmek üzere kırk gün halvet için bir hücreye koydu. Eşrefoğlu Abdullah , sıkı ve riyazet ve mücahedeye tabi tutuldu. Kırk gün içinde Hüseyin Hamevi , Abdullah’a ziyade teveccühlerde bulundu. Bir gün bir hizmetçi hücresine yemek götürdü. Eşrefoğlu’nu hareketsiz görünce , öldü zannedip , telaşlandı ve durumu hocasına bildirdi. Fakat kırk gün dolmadığı için Hüseyin Hamevi bu duruma aldırış etmedi. Abdullah , kırkıncı gün hücreden çıkartıldığında , büyük bir vecd hali içinde kendinden geçmiş , gözleri kapalı ve hareketsiz bir halde görüldü. Kendisini melekle alemini seyretmenin lezzetinden ayırdıklarında ; “ Sultanım bize kıydınız.” diyerek gözlerini açtı. Bu kırk günlük imtihanı başarıyla veren Abdullah , tasavvufta pek yüce mertebelere çıkmış olarak icazetname aldı. Hüseyin Hamevi’nin halifesi olarak Anadolu’da Kadiri yolunu yaymak üzere vazifelendirildi.

“ Halk senin zahirine de bakar. Onun için kıyafetini biraz düzeltmen lazımdır. Şu hırkayı ve pabuçları al , giy. ” buyurunca , Eşrefoğlu hırkayı giydi , pabuçları da başına geçirerek ; “ Hocamın verdiği pabuç ayağıma değil , başıma olsa gerektir. ” dedi. Hocasının emri üzere yola çıkmak üzere hazırlık yaptığı sırada , Hüseyin Hamevi’nin eski talebeleri aralarında ; “ Biz bu kadar zamandan beri hocamızın hizmetindeyiz. Bize himmet verilmedi. Bu Rumi denilen ve Anadolu’dan gelen kimseye kırk günde hem himmet , hem de icazet verildi. Bu nasıl iştir ? ” diye konuşuyorlardı. Hüseyin Hamevi , Allahü tealanın izniyle bu duruma vakıf oldu. Talebelerini toplayıp bir konuşma sırasında ; “ Ya Rumi ! Bu kadar misafirimiz oldun. Sana bir ziyafet veremedik. Bir ziyafette bulunalım. İnşaallah ondan sonra gidersin. ” dedi. Yemeler hazırlanıp talebeleri ile yeşillik bir yere gittiler. Hüseyin Hamevi , suyu bulunmayan bir yerde oturulmasını emretti. Talebeleri ; “ Sultanım , burada su yoktur, namaz zamanı abdest almak icab ettiğinde sıkıntı çekeriz. ” demelerine rağmen Hüseyin Hamevi oturulmasını istedi. Talebeler hocalarının emri üzerine oturdular. Namaz vakti girince abdest almak icab etti. Hüseyin Hamevi , Eşrefoğlu hariç bütün talebelerine su aramalarını söyledi. Talebelerin ; “ Sultanım burada su yoktur. ” demelerine rağmen ; “ Hele siz bir arayın belki vardır. ” buyurdu. Talebeler aramalarına rağmen bulamadılar. Bunun üzerine Hüseyin Hamevi ; “ Rumi ! Gerçi sen misafirsin. Misafire hizmet ettirmek doğru değildir. Bir de sen ara. Belki su bulursun. ” deyince , Eşrefoğlu ; “ Emriniz başım üstüne. ” diyerek hemen aramaya başladı. Bir ağacın yanına gidip , teyemmüm etti ve secdeye varıp Allahü tealaya şöyle yalvardı : “ Ya Rabbi ! Hocam su istiyor. Lütfet , su ihsan eyle. ” Daha sonra başını secdeden kaldırdı. Secde ettiği yerden bir pınarın kaynadığını gördü. Hemen tası doldurup hocasına götürdü. Hüseyin Hamevi talebelerine dönerek ; “ Su olmadığını iddia ediyordunuz. Bakın Rumi nasıl bulmuş ! ” dedi. Talebeler hemen suyun bulunduğu yere gittiler. Suyun daha yeni çıkıp akmaya başladığını görünce , hocalarının Eşrefoğlu’na himmet etmesinin sebebini anladılar.
Hüseyin Hamevi , Abdullah’ı Anadolu’ya uğurladıktan bir müddet sonra , arkasından baktı ve ; “Abdullah-ı Rumi koca bir deniz imiş. Bizde bulunan her şeyi çekip sinesine aldı.” buyurdu. Çocukları ile birlikte Ankara’ya giden Abdullah-ı Rumi , kayınpederi Hacı Bayram-ı Veli’nin yanında bir müddet daha kaldıktan sonra İznik’e gitti.

İznik’te önceleri münzevi , yalnız bir hayat yaşayan Eşrefoğlu , şan ve şöhretten hiç hoşlanmazdı. Kimsenin dikkatini çekmeden fakirane bir hayat yaşadı ve insanlardan uzak kalmaya çalıştı. İznik’e Hama’dan bir zatın gelmesi durum değişti. O zat herkese Eşrefoğlu’nun menkıbelerini anlatmaya başlayınca , İznik halkı kendisine hürmet ve itibar göstermeye başladı. Bundan rahatsız olan Eşrefoğlu Rumi dağlara çekildi , tekrar uzlet hayatına başladı. Dağlarda dolaşırken bir köylü onu gördü ve suçlu sanarak yakaladı. Gayesi onu teslim alıp mükafat almaktı. Fakat onun şöhretini duyan köylünün annesi , kendisini tanıyınca mesele anlaşıldı , köylü ve annesi de Eşrefoğlu’na talebe oldu. Bunun üzerine İznik’e dönen Eşrefoğlu asıl vazifesi olan insanlara doğru yolu anlatmaya başladı. İlk talebesi olan ve kendisini yakalayan köylü onun için Pınarbaşı denilen yerde bir dergah yaptırdı. Eşrefoğlu Rumi , burada talebelerine ders vermeye , Kadiri yolunu yaymak için çalışmalara başladı. Talebelerinin nefsini terbiye etmek için , riyazet ve mücahedeler yaptırmaya , gurur , kibir , ucb gibi kalp hastalıklarından kurtarmaya büyük gayret gösterdi.

Bir gece Eşrefoğlu Rumi , dergahında ibadet ediyordu. Bu sırada bir ışık peyda oldu. O ışıktan şöyle bir hitap duyuldu : “ Ey kul ! Dile benden ne dilersen. Bütün haram olan şeyleri sana helal kıldım.” Eşrefoğlu bir anda Allahü tealanın izni ile sesin sahibi olan şeytanı yakaladı. Avucunun içinde sıkmaya başladı. O anda şeytan ; “ Ya şeyh ! Ne yapıyorsun ? Allah bana kıyamete kadar mühlet vermiştir. Sen ise beni öldürmek istiyorsun.” deyince Eşrefoğlu ; “ Ey mel’un ! Sen benim talebelerimin ve dostlarımın imanlarına kasdetmeyeceğine dair söz verirsen salarım.” dedi. Şeytan da ; “ Onların imanlarına kasdetmeyeceğime söz veriyorum.” dedi. Bunun üzerine Eşrefoğlu Rumi ; “ Ey mel’un ! Allahü Teala ile olan ahdine vefa etmedin. Benimle olan ahdine mi vefa edeceksin. Bildiğin şeyden geri kalma.” dedi ve saldı. Talebeleri ; “ Onun şeytan olduğunu nereden anladınız ?” diye sorunca ; “ Bütün haramları sana helal kıldım , deyince anladım. Çünkü Allahü tealanın haram ettiği şeyler zata mahsus değildir. Kıyamete kadar bakidir.” buyurdu.