主郭は約800平方b、南郭375平方b、西郭約80平方bとなっています。石垣は野面乱層積み(*1)で反りがなく、主郭の四隅は算木積み(*2)と横矢掛りの後方を用いています。
(*1)野面積み…自然のままの石で積んだ石垣
(*2)算木積み…石垣の隅角は最も重要な部分なので直方体の石の長辺と短辺を交互に積んだ石垣
主郭…最高所に位置しており高さ4mと高く石も立派なものが用いられています。主郭には随所に横矢掛りという敵を側面から攻撃するための張り出しが設けられています。
虎口…郭の出入り口を指し、赤木城跡では敵をふさぐために通路を何度も折り曲げた複雑な構造になっています。
東郭…入口から石段を上った最初に見える箇所です。最初に敵を迎え撃つ場所となっています。
西郭…礎石建物や石組み遺構があります。この石組み遺構は食べ物などを貯蔵する施設か水溜(みずため)ではないかと考えられています。
南郭…他の郭と比較すると低い位置にあります。これは他の郭が防御の役割を担っていたのに対し、この郭は生活の場であったと考えられています。かまど跡や擂り鉢、貝殻も出土しています。
 平成元年10月9日には国指定遺跡に指定されました。
 天正17(1589)年頃、藤堂高虎が築城したと言われているこの城は今も築城当時の原形を残した城跡で、全国でも少なくとても貴重とされています。反対勢力を抑える目的で築城されたと言われ、主郭を中心とした三方の尾根上と裾部に郭を設けています。尾根を利用した郭配置は中世山城の様相を引き継ぐ一方で、高く積まれた石垣や発達した虎口など近世城郭の要素も見受けられます。平成4年には保存管理計画が策定され、平成16年までの13年間にわたって、石垣の積み直しや遊歩道の設置などの維持整備を行い、復元作業を行ってきました。
 また、あわせて平成7年から15年まで発掘調査が行われ、天目茶碗や砥石、釘などが出土しました。