در زمان سلجوقیان، اسماعیلیان بر طبس استیلا یافتند و قلعه‌های محکمی در کوه‌های آن ساختند. قلعه اسماعیلیان طبس که یکی از قلعه‌های معروف این فرقه است، بر فراز کوهی ایجاد شده که در مجاورت آن روستای خراوان پایین قرار دارد. از فراز قلعه به هر طرف که نگاه کنیم، کوهستان است و افق بازی وجود ندارد و تنها می‌توان روستاهای خراوان بالا و پایین را مشاهده کرد. درون قلعه چهار آب انبار وجود دارد که سالم‌ترین آنها در بالاترین سطح کوه قرار دارد و تنها پوشش گنبدی آن در وسط بنا از بین رفته است.
