این کاروانسرا در سال 1250 شمسی به فرمان حاج میرزا ابوالحسن خان مشیرالملک با هزینهای معادل 40 هزارتومان ساخته شد. عمده مصالح تشکیل دهنده این کاروانسرا سنگ، گچ و ساروج است و در کف آن از تخته سنگهای بزرگ تراشیده شده، استفاده شده است. معمار زبردست این بنا به طرز ماهرانهای این اثر را به سبک معماری زندیه ساخته است، حاج محمد رحيم شيرازي سازندهی پل مشير و كاروانسراي دالكي نیز می باشد. کاروانسرای مشیرالملک در سال 1362 در فهرست آثار ملی کشور به ثبت رسید.
درست در وسط میدان چمران شهر براز جان عمارتی قلعه مانند و بزرگ قرار دارد که در زمان قاجاریه به دستورحاج میرزا ابوالحسن خان مشیرالملک احداث شده است . عمارتی که از سنگ و ساروج ساخته شده و چهار برج دارد و حیاط بزرگ و حتی پشت بام آن سنگفرش است و پر از حجره و اتاق است ، شاید حدود 60 اتاق و حجره دارد .
کاربرد این قلعه ابتدا به منظور کاروانسرا و پذیرایی از مسافران بوده . در زمان پهلوی مدتی به عنوان پایگاه نظامی استفاده می شده و بعد ازآن تبدیل به زندان شهربانی شده .
افراد سرشناسی از شخصیت های جمهوری اسلامی مانند مهندس بازرگان ، دکتر یدالله سحابی قیلا در دوره پهلوی برای مدتی در دژ برازجان زندانی بوده اند .
روی دیوارهای حجره های این کاروانسرا یادگاری های خطی زیبایی را می توان مشاهده کرد که عموما دست نوشته های شخصیت هایی بوده که قبلا در این محل زندانی بوده اند .