زمانی که شاه عباس صفوی موفق شد بندرگمبرون را از پرتغالی‌ها پس بگیرد و نام این شهر به افتخار او به بندرعباس تغییر کرد، کمپانی هند شرقی و هلندی‌ها از شاه ایران اجازه خواستند به منظور گسترش روابط بازگانی خود تجارت‌خانه‌ای را در در این شهر بندری تاسیس کنند. بنابراین، عمارتی باشکوه و وسیع که بعدها با نام عمارت کلاه فرنگی بندرعباس شهرت یافت، ساخته شد. این عمارت با الهام از معماری اروپایی در دو طبقه و با ۱۳۳ اتاق بنا شد. در محوطه عمارت دو حیاط و دو آب‌انبار وجود دارد و تمامی اتاق‌ها با گچ‌بری زیبایی تزیین شدند. سقف آن هشت‌ضعلی و از جنس چوب ساروج است و وسط آن یک گنبد مخروطی‌شکل قرار دارد. به دلیل این‌که این سقف و گنبد شبیه کلاه‌هایی بود که اروپاییان آن زمان بر سر می‌گذاشتند، به عمارت کلاه فرنگی معروف شد. در سال ۱۱۳۷ خورشیدی هلندی‌ها بندرعباس را ترک کردند و این ساختمان به دارالحکومه تغییر کاربری داد که کارهای گمرکی مربوط به آن زمان در آن انجام می‌گرفت. اما این پایان سرنوشت پرپیچ‌و‌خم عمار کلاه فرنگی بندرعباس نیست! ابتدای انقلاب اسلامی اطراف این عمارت به محلی برای فروش میوه و تره‌بار تبدیل و سپس، وقف حوزه علمیه شد. در حال حاضر، این عمارت شکوه‌مند و اصیل با بی‌مهری‌های زیادی مواجه شده و آن‌طور که شایسته یک اثر تاریخی است، از آن نگهداری نمی‌شود. عمارت کلاه فرنگی بندرعباس یکی از قدیمی‌ترین بناهای این شهر است و به‌خاطر ارزش تاریخی آن، در سال ۱۳۸۴ به فهرست آثار ملی ایران اضافه شد. عمارت کلاه فرنگی بندرعباس در نزدیکی آثار به‌یادماندنی دیگری؛ همچون حمام گله داری، مسجد ناصری و اسکله قدیم، قرار گرفته است که بازدید از آن‌ها هم خالی از لطف نخواهد بود.