Kiai Dimyati sejak kecil memang sudah terlihat berbeda jika dibandingkan dengan para saudaranya yang lain. Dia dikenal pendiam, tetapi rajin, disiplin, dan ulet. Dengan sikap rajinnya tersebut, beliau memulai pendidikannya dengan belajar di di SR (Sekolah Rakyat).

Di sekolah formal tersebut, dia menyelesaikannya dan mendapatkan sertifikat sebagai tanda kelulusan. Setelah selesai pendidikan formal, Abah Dim melanjutkan pendidikannya dengan belajar di Pondok Pesantren APIK, Kauman, Kaliwungu, Kendal yang diasuh oleh KH Ahmad Ru’yat sekitar tahun 1956 beliau.

Dia mondok di Pondok Pesantren APIK selama kurang lebih 14-15 tahun. Setelah selesai di Pondok Pesantren APIK, kemudian beliau melanjutkan pendidikannya dengan berguru kepada KH Mahrus Aly di Ponpes Lirboyo, Kediri, Jawa Timur meski hanya sebentar.

Setelah itu, Kiai Dimyati kemudian melanjutkan berguru pada Mbah Imam, pengasuh Pondok Pesantren Sarang, Rembang, Jawa Tengah kurang lebih sekitar 5 tahun.