عمارت آصف در سه دوره تاریخی ساخته شده و به شکل و شمایل امروزی‌اش که بنایی است پرهیبت و جدا افتاده از تاریخ، تبدیل شده است. احداث بنای اولیه به دوره صفوی برمی‌گردد و قسمت‌های دیگر آن در دوره قاجار و پهلوی به آن اضافه شده است. جایی مخصوص زندگی اعیان که این روزها درهایش به روی عموم باز شده است. جذابیت‌های عمارت آصف به همینجا محدود نمی‌شود و حمام داخل این عمارت و نقش و نگارهایش و موزه مردم‌شناسی آن قشنگی‌هایش را چند برابر کرده است.
