আল্লামা কাজী মু’তাসিম বিল্লাহ রহ. কিশোরগঞ্জ জামি‘আ ইমদাদিয়ার শাইখুল হাদীস ছিলেন। সেখান থেকে ময়মনসিংহের এক মাদরাসায় কিছুদিন অবস্থান করে যাত্রাবাড়ি জামি‘আয় চলে আসেন। এবং মাদরাসার ভারপ্রাপ্ত ইহতিমামের দায়িত্ব পালন করেন। পরবর্তীতে শায়খ তাজাম্মুল আলী রহ. কে এনে মুহতামিম নিযুক্ত করা হয়।

১৯৭৪ সনে আল্লামা মাহমুদুল হাসান সাহেব পাকিস্তান থেকে সরাসরি যাত্রাবাড়ি জামি‘আয় চলে আসেন। ১৯৭৫ সন পর্যন্ত আল্লামা মাহমূদুল হাসান অস্থায়ী নাজেমে তালিমাত ছিলেন। এরপর ১৯৭৬ সনে কাজী সাহেব রহ. সহ আরো অনেক শিক্ষকবৃন্দ চলে যান। তখন মাওলানা মহিউদ্দিন খান সাহেব রহ. ও পীর দুধুমিয়া সহ আরো ৫২জন সদস্যের মাধ্যমে গঠিত ছিল জামি‘আর কমিটি। খতিব ওবায়দুল হক সাহেব রহ. ছিলেন সভাপতি। এলাকার চেয়ারম্যান আব্দুল আজিজ সাহেব ছিলেন সেক্রেটারি। শায়খ তাজাম্মুল আলী সাহেব ছিলেন মুহতামিম। কাজী সাহেব রহ. চলে যাওয়ার পর শায়খ তাজাম্মুল আলী রহ. জামি‘আয় দুই বছর ছিলেন। তিনি চলে যাওয়ার পর, মতান্তরে তিনি থাকতেই আল্লামা মাহমূদুল হাসান সাহেব ভারপ্রাপ্ত মুহতামিম হন।