Namun, kekuasaan Portugis berakhir pada tahun 1577 setelah rakyat Ternate di bawah pimpinan Sultan Baabullah berhasil melancarkan perlawanan. Setelah itu, Benteng Tolukko berada di bawah kendali Kesultanan Ternate hingga akhirnya jatuh ke tangan Belanda.
Meski ukurannya tidak terlalu besar, dari depan benteng ini terlihat megah. Bangunan ini memiliki tiga bastion atau kubu pertahanan, dan untuk mencapainya pengunjung perlu melewati lorong sempit.
Bagi penggemar fotografi, Benteng Tolukko adalah lokasi yang direkomendasikan. Suasana kuno dan klasik pada benteng ini dijamin akan memberikan kesan unik dan menarik pada hasil foto Anda.