قلعه صمصام در ورودی شهر، کنار رودخانه کرج ساخته شده و جاده کرج-چالوس در ضلع شرقی آن قرار دارد. مساحت این قلعه ۱۱۲۲ متر مربع است و شامل یک حیاط مرکزی، تعدادی اتاق مخروبه که به مرور زمان به طور الحاقی ایجاد شده. این قلعه از سنگ، آجر، ملاط و ساروج ساخته شده و در معماری آن از طرح‌های جلگه‌ای استفاده شده که معمولاً چهارگوش است و برج‌های مدور در گوشه‌های آن قرار دارد که از نظر نظامی و دفاعی اهمیت زیادی داشتند. این قلعه دارای دو برج شمالی و جنوبی، نمای آجری، سنگی می‌باشد.
