এ মসজিদে জুমাতুল বিদায় সবচেয়ে বেশি মুসল্লির সমাগম হয়। মূল মসজিদ, সম্প্রসারিত মসজিদ, ত্রিপলের ছাউনি, খোলা মাঠ ছাড়িয়ে দূরদূরান্ত থেকে মুসল্লিরা আন্দরিকল্লার রাস্তায় জায়নামাজ, কাগজ বিছিয়ে নামাজ পড়তে দেখা যায়। শবে কদর ও শবে বরাতের রাতে এবং শুক্রবারের জুমা ও দুই ঈদের নামাজেও উপচে পড়া ভিড় থাকে। রমজানে এখানে ধনী-গরিব এক কাতারে বসে প্রতিদিন গড়ে তিন হাজার মানুষ ইফতার করেন মসজিদ পরিচালনা কমিটির ব্যবস্থাপনায়।

সরেজমিন দেখা গেছে, ঐতিহ্যবাহী মসজিদটি গঠনগত দিক থেকে এখন বেশ ঝুঁকিপূর্ণ। দোতলার ছাদের পলেস্তারা খসে পড়ছে, লোহালক্কড়গুলো বেরিয়ে আসছে। তাই কয়েক বছর ধরে দোতলায় মুসল্লিদের ওঠা বন্ধ করে দেওয়া হয়েছে। তিন গম্বুজের মূল মসজিদটি আকারে খুবই ছোট। আড়াই গজ পুরুত্বের বিশাল পাথরের দেয়ালে তৈরি। ১৬ মিটার লম্বা, ৬ দশমিক ৯ মিটার প্রস্থ। ছোট্ট মসজিদটিতে আলো-বাতাস চলাচলের জন্য পশ্চিম পাশে চারটি জানালা, পূর্ব পাশে তিনটি দরজা, উত্তর ও দক্ষিণ পাশে একটি করে দরজা রয়েছে। তিনটি মেহরাব রয়েছে।

আশির দশকে মসজিদের চার কোণায় চারটি সুউচ্চ মিনার নির্মাণ করা হয়েছে। দক্ষিণ-পূর্ব কোণার মিনারটি স্থানে স্থানে ফেটে চৌচির হয়ে গেছে। মূল মসজিদের ছাদ হিসেবে ব্যবহৃত হচ্ছে তিনটি গম্বুজ। একটি বড় গম্বুজ। দুই পাশে দুইটি ছোট গম্বুজ। অনেক বছর ধরে অযত্ন-অবহেলায় পড়ে আছে। চুনকাম বা রক্ষণাবেক্ষণের ছাপ নেই। পূর্ব পাশের ছাদের কিনারে ১৮টি ছোট গম্বুজ বসানো হয়েছে স্থাপত্যশৈলীর সৌন্দর্য বাড়ানোর জন্য।

২ দশমিক ৪৩ একর জায়গার ওপর আন্দরকিল্লা শাহি জামে মসজিদ কমপ্লেক্স। এ মসজিদের সম্পত্তির ওপর লাইব্রেরি, কাগজ, আতর-টুপি, ট্রাভেল এজেন্ট, দর্জির দোকান, ছাপাখানা মিলে ২৩৫টি ভাড়াটিয়া হিসেবে রয়েছে।

ইসলামিক ফাউন্ডেশন সূত্রে জানা গেছে, পর্তুগিজ ও আরাকানি মগদের লুণ্ঠন ও অত্যাচারের বিরুদ্ধে মোগল সম্রাট আবুল মুজাফফর মুহিউদ্দিন মুহাম্মদ আওরঙ্গজেব আলমগীরের বিজয় ফলক হিসেবে আন্দরকিল্লা ।১৭৬০ খ্রিষ্টাব্দে মীর কাসিম আলী চট্টগ্রাম, মেদেনীপুর ও বর্ধমান জেলা হস্তান্তরের অঙ্গীকার করে ইস্ট ইন্ডিয়া কোম্পানির কাছ থেকে নবাবী লাভ করেন। ইস্ট ইন্ডিয়া কোম্পানি ১৭৬১ সালের ৩ জানুয়ারি নওয়াব রেজা খানের কাছ থেকে চট্টগ্রামের দায়িত্বভার বুঝে নেয়। তখন এ মসজিদও কোম্পানির নিয়ন্ত্রণে চলে যায়। তারা মসজিদের কয়েকটি স্তম্ভ, গম্বুজ ধ্বংস করে, মূল্যবান কারুকার্যের ক্ষতি সাধণ করে, মূল নকশার আংশিক পরিবর্তন করে মসজিদটি গোলাবারুদের গুদাম হিসেবে ব্যবহার করেন। হিজরি ১২৭১ সাল পর্যন্ত এ মসজিদে নামাজ ও সব এবাদত বন্ধ ছিল। ১৮৫৪ সালে মুসল্লিরা ৯৪ বছর পর পুনরায় আজান দিয়ে মসজিদে নামাজ আদায় শুরু করেন। ১৮৫৭ সালে মসজিদের সম্পত্তি খান বাহাদুর হামিদুল্লাহ খান ওয়াকফ এস্টেটভুক্ত হয়। হিজরি ১২৭২ সালে ‘ইমারতে সানি’ বা ‘পুনঃনির্মাণ’ খোদাই করে মসজিদের গায়ে লাগানো হয়। ১৯৬২ সালে হাইকোর্টের রায়ে শাহি জামে মসজিদ ওয়াকফ এস্টেট পৃথক আলাদা করা হয়। ১৯৮৬ সালে রাষ্ট্রপতির অধ্যাদেশে এ মসজিদের ব্যবস্থাপনা ও পরিচালনার দায়িত্ব ইসলামিক ফাউন্ডেশনকে দেওয়া হয়।