قلعه سنگ برازجان که در وسط دشت مسطحی قرار دارد، از مسافتی دور بسان صخره‌ای سترک و سفید رنگ به نظر می‌رسد. محوطه قلعه سنگ از سه واحد مختلف که عبارت است از صخره سنگی میانی و دو حصار پیرامون آن، تشکیل یافته است.فاصله حصار اول و دوم در بیشترین مقدار آن حدود 200 متر است. عمده واحدهای مسکونی و ساختمان‌های همگانی قلعه در فاصله دو حصار ساخته شده است. تمامی بناهای این قسمت از خشت خام، است. حصار بیرونی قلعه نیز از خشت خام بر پا شده و حدود 5 متر ضخامت آن است و در طول آن برج‌های مدوری به قطرهای 6 تا 8 متر ایجاد کرده‌اند. در فاصله دو کیلومتری قلعه آثار دو خندق کم عرض به صورت دو کانال وجود دارد که به احتمال حد حومه را در زمان آبادانی قلعه مشخص می‌کند.در فاصله بین خندق‌ها و بنای اصلی قلعه کم و بیش برجستگی‌های مربوط به ویرانه‌های کهن به چشم می‌خورد.
