Karacaahmet Sultan’ın nerede ve kaç tarihinde doğduğu bilinmemektedir. Rivayete göre Karacaahmet Sultan, Moğol istilâsı sırasında Horasan bölgesinden Anadolu’ya gelerek İhsaniye’nin Tezhöyük yakınlarına konaklar.
Karacaahmet Türbesi girişinde bulunan kitâbeye göre; Karacaahmet Sultan, Osmanlı Sultanı Orhan Bey zamanında h. 726 / m. 1324 yılında burada ocağını kurmuş ve hastaları tedavi etmiştir. Ancak Evliya Çelebi, Karacaahmet Sultan’ın Afyonkarahisar şehrine h. 660 / m. 1262’de geldiğini belirtmektedir.
Karacaahmet Sultan, daha sonraki yıllarda Manisa taraflarına gitmiş, tekkesini de oğlu Şeyh Eşref ve evlatlarına bırakmıştır.
Horasan erenlerinden ermiş, bir ruh ve akıl doktoru olan Karacaahmet Sultan, mücahit bir veli olduğu kadar kuvvetli bir hekimdir. O zamanın hastalarını devrinin en büyük hekimi olarak tedavi etmiştir. Daha sonra oğlu Eşref ve torunları Karacaahmet Köyü’nde bir tedavi zaviyesi meydana getirerek gelen hastaları aynı usullerle bugün dahi iyileştirmeye devam etmektedirler. Tedavi olmak için gelen bütün hastalara, erkekse erkek, kadınsa kadın Karacaahmet Sultan’ın soyundan gelen torunları tarafından hiçbir şekilde tedavi ücreti alınmadan hizmet edilmektedir.
Karacaahmet Sultan’ın Tekkesi 1946 yılında Prof. Dr. Rasim Adasal başkanlığında, Ankara Üniversitesi profesörlerinden bir kurul tarafından (Prof. Dr. Nafiz Uzluk, Doç. Dr. Recep Doksat, Doç. Dr. Coşkun Şarman, Dr. Gülören Ünüoğlu) ziyaret edilmiş, gerekli inceleme ilmi metotlarla yapılmış, tıbbî ve mistik folklor geleneğimizi dünyaya tanıtmak için bildiri yayınlamışlardır.