قلعة خصب قلعة ساحرة تجذب عيني الزائر عند مروره عبر الطريق الساحلي في الجزء القديم من المدينة، تطل على الجانب البحري كحصن شامخ في الجانب الشرقي في ولاية خصب، وقد قامت هذه القلعة على بقايا قلعة أخرى قبل تعزيز بنائها من قبل البرتغاليين، وقد قام الإمام ناصر بن مرشد بطرد البرتغاليين من المدينة بعد أن عمل على توحيد البلاد خلال فترة إمامته (1624ـ1649م)، وقام بعده الإمام سلطان بن سيف اليعربي بترميم هذه القلعة، فيما أولى سلاطين البوسعيد اهتماما متزايدا بها، واستعملوها كبرج للمراقبة، وكمنزل لعائلة الوالي، ويرجع تاريخ المبنى الحالي للقلعة ما يقرب من 250 عاما، وقد تم ترميمها في عام 1990م.
عند قدومك إلى القلعة تجد عند بوابتها الرئيسة ثلاثة مدافع صغيرة موجهة نحو البحر، حيث كانت حتى وقت قريب تستعمل للإعلان عن حلول عيد الفطر عند رؤية هلال شهر شوال، وقد صنعت أبواب هذه القلعة التاريخية من خشب الساج الأصلي، وجدرانها مزينة بالسيوف والبنادق القديمة؛ مما يدفع الزائر إلى تأمل آثار حضارة عريقة تفتح القلعة أبوابها يوميا من 9:00 صباحا حتى 4:00 مساء طوال أيام الأسبوع عدا يوم الجمعة، حيث تفتح من الساعة 8:00 إلى00 :11 صباحا، وتجد في الداخل محلات للصناعات اليدوية يقوم بإدارتها مرشد القلعة، وبإمكانك شراء بعض الهدايا التقليدية كالمباخر، ومصنوعات سعف النخيل، والجزر، وفي الناحية الخلفية من القلعة وفي جانبها الشرقي نجد المزارع والبيوت الصيفية لأهالي حارة الكمازرة، ويجري حاليا تنفيذ المرحلة الأولى من مشروع تطوير هذه القلعة؛ لتكون عبارة عن متحف يعكس ملامح من التقاليد العريقة في المحافظة.