یکی از پادشاهان قدیمی قاجار، در محل تلاقی جاده قدیم شمیران با خیابان عباس آباد قصری را برای خود بنا نمود. این قصر در بالای تپهای بنا نهاد شد ودارای چهار برج مراقبت در چهارسوی خود بود. این بنا هیچگونه پنجره ای به بیرون نداشت و از این جهت بیشتر از آن که به یک کاخ پادشاهی شبیه باشد، به یک قلعه نظامی شباهت داشت.
همچنین اطراف این قصر را باغ بزرگی احاطه کرده است، و به وسیله استخرها و نهرهای زلال و پرآبی از یکدیگر مجزا میشدند. ورودی قصر دارای بالا خانهای بود که چشمانداز زیبایی از صحرا، شمیران، تهران، خرابههای ری و نجفآباد، کاخهای اشرفآباد و دوشان تپه داشت و اطراف و بناها از آن بالا بهخوبی دیده میشدند.
باتوجه به استاد تاریخی موجود این قصر در ابتدای سلطنت فتحعلی شاه و در سال ۱۲۱۳ هجری قمری ساخته شده که در دوران ناصرالدین شاه به عنوان مرکز نظامی تبدیل شد. برای مدتها این قصر دارای استفادههای مختلفی بود، تا اینکه به دستور رضاشاه پهلوی بهطور کامل تخریب و زندان قصر فعلی بهجای آن ساخته شد. وجه تسمیه نامگذاری زندان نیز برگرفته از بنای پیشین، قصر قجری، است.
زندان قصر قبل از انقلاب سال 57 محل حبس زندانیان غیرسیاسی بود تا اینکه در سال ۱۳۸۲ بهدلیل حضور زندان در میانه شهر و همچنین، بافت قدیمی و فرسوده زندان قصر توسط شهرداری تهران تبدیل به باغ موزه قصر شدهم اکنون تنها عمارت کلاه فرنگی و ساختمانی قدیمی از قصر قجری باقی مانده و زمینهای شمالی کاخ نیز در اختیار ارگان های دولتی می باشد.