Namun, nasib benteng ini berubah setelah Sultan Hasanuddin terpaksa menyerah kepada Belanda setelah kekalahan dalam Perang Gowa.

Pada 18 November 1667, Sultan Hasanuddin menandatangani Perjanjian Bongayya yang memaksa Kerajaan Gowa untuk menyerahkan benteng tersebut kepada Belanda.

Setelah itu, benteng ini direnovasi oleh VOC dan berganti nama menjadi Benteng Fort Rotterdam, yang diambil dari tempat kelahiran Cornelis J. Speelman, tokoh penting Belanda.