ازاین باغ که مربوط به عصر زندیه است قسمت بسیار ناچیزی در مقایسه با ابعاد اصلی آن بر جای مانده است. با این همه، همچنان آوازه‌ای دارد که به ویژه مدیون عمارت کلاه فرنگی کوچک آن است. در این عمارت، کریم خان زند سفیران خارجی و دیگر مهمانان بلندپایه را به حضور می‌پذیرفت. مقبره کریم خان نیز در این بنا، در شاه‌نشین شرقی کلاه فرنگی بود. هر چند سیزده سال پس از مرگش مقبره کریم خان به دستور آغا محمد خان قاجار نبش شد و استخوان‌های او به تهران منتقل و زیر پلکان کاخ گلستان دفن شد، عمارت کلاه فرنگی باغ نظر همچنان آرامگاه کریم خان زند شمرده می‌شود.

باغ نظر، اهمیت و رونق خود را در عصر قاجار همچنان حفظ کرد، به ویژه در زمان حکومت حسینعلی میرزا پسر فتحعلی شاه قاجار و حاکم فارس که در 1268 ه.ق. این محل را به عنوان مرکز تشکیلات حکومتی خود برگزید. این حاکم همچنین دستور به ساخت بنای دیگری موسوم به کاخ همایون در ضلع شمال غربی باغ داد. متاسفانه، در آغاز قرن چهاردهم هجری، تمام بناهای باغ (جز عمارت کلاه فرنگی) و بخش اعظم فضای سبز آن ویران شد.

بسیاری از کارشناسان به همانندی عمارت کلاه فرنگی باغ نظر و کاخ هشت بهشت اصفهان اشاره کرده‌اند. باید یادآور شد که کوشک کریم خانی بسیار کوچک‌تر از همتای صفوی آن است. کلاه فرنگی باغ نظر، نقشه‌ای بسیار ساده دارد. این بنای هشت گوش آجری روی سکویی سنگی قرار گرفته و دسترسی به آن از طریق درهایی در چهار ضلع کوتاه بنا با پلکان‌های سه پله‌ای است.

در چهار ضلع بلند عمارت، چهار پنجره قوسی شکل تعبیه شده‌اند و کنار آنها با قاب‌های کاشی‌کاری شده در انواع اشکال تزیین شده است. هشت اسپره در پایین و هشت اسپره در بالا و هشت لچکی بین اسپره‌ها بنا را آراسته‌اند. بخش‌هایی از کاشی کاری که از بین رفته بودند در سال‌های 1315-1316 ه.ش. توسط استادان زبردست که همه شیرازی بودند، به سبک و رنگ و نقش اصلی ترمیم و تجدید شد.

در روزگاران قدیم، در چهار سوی عمارت کلاه فرنگی، حوض‌های بزرگ قرار داشتند که امروزه تنها یکی از آنها کاملا سالم بر جای مانده است. یک سنگاب قدیمی از مسجد جامع عتیق به این مکان آورده شده و در قمت ورودی باغ قرار دارد.

درون بنا یک تالار مرکزی قرار دارد که در چهار سوی آن شاه‌نشین‌های عمیق و عریض ساخته‌شده‌اند. در سه گوشه عمارت، اتاق وجود دارد و در گوشه چهارم یک دهلیز ورودی. اتاق‌ها توسط تاق‌هایی در قسمت پایین و پنجره‌هایی در قسمت بالا به تالار مرکزی متصل هستند. مقرنس‌های رنگی و نقاشی‌های دیواری، تزئینات داخلی کوشک را تشکیل می‌دهند. قسمت اعظم این تزیینات داخلی کوشک را تشکیل می‌دهند. قسمت اعظم این تزیینات در دوران قاجار و پهلوی بازسازی شده‌اند و تنها در بخش شمالی بنا نقاشی‌های عصر زندیه باقی مانده‌اند. در این قسمت نقاشی مشهور کریم خان که او را در حال قلیان کشیدن با درباریانش نشان می‌دهد، قرار دارد.

در 1316 ه.ش.، درهای عمارت کلاه فرنگی باغ نظر به عنوان موزه پارس به روی مردم باز شد. این موزه در سال 1381 و پس از سرقت دو قرآن نفیسی که از دروازة قرآن به اینجا آورده شده بودند، برای مدتی تعطیل شد، اما پس از آن دوباره بازگشایی شده است.