نام بهشهر پيش از دوره صفوي، تميشه، ناميه، پنجهزاره، آسابسر و خرگوران بوده است. چون مادر شاه عباس، اهل اين منطقه بوده، وي با مسافرت به بهشهر، اين شهر را پايتخت تابستاني خود ساخته و نام آن را به اشرفالبلاد، يعني بهترين و شريفترين شهرها، تغيير داده است. او كاخها و عمارتهايي را در بهشهر بنا نهاد كه يكي از آنها كاخ صفي آباد است. كاخ بر بالاي تپهاي مشرف به شهر بهشهر بنا نهاده شده است. صفيآباد از جمله بناهاي تاريخ و باستاني مربوط به دوره صفويه است كه در دوران قاجار به علت بيتوجهي به كلي ويران شده بود، ولي در زمان پهلوي اول با دستور شخص رضاشاه، با همان اسلوب و ويژگيهاي معماري عصر صفوي دوبارده بازسازي شد. البته به علت نوع آب و هواي اين منطقه و عدم استفاده از مصالح مرغوب و محلي دوران صفويه اين كاخ ۵۰ سال پس از بازسازي (در اوايل انقلاب اسلامي) دوباره رو به فرسايش گذاشت و از اين رو دوباره توسط سازمان ميراث فرهنگي و گردشگري مورد مرمت قرار گرفت. كاخ صفي آباد در حال حاضر كاربرد نظامي داشته و بازديد از آن ميسر نيست ولي از تمام شهر ميتوان آن را ديد.