Είναι το φρούριο που είχε κτιστεί αρχικά από τους Βυζαντινούς πάνω στην ακρόπολη της αρχαίας Κυδωνίας, σ’ένα ύψωμα στην περιοχή της σημερινής παλιάς πόλης. Το σημείο αυτό ήταν το ψηλότερο της περιοχής της οποίας δέσποζε, δεξιά κατεβαίνοντας προς το λιμάνι.
Σχέδιο αυτού του φρουρίου δεν σώθηκε. Οι Ενετοί , όταν κατέλαβαν την Κρήτη, εγκαταστάθηκαν στο Καστέλι, το διαμόρφωσαν, το συμπλήρωσαν, το προσάρμοσαν στις ανάγκες τους και το οχύρωσαν. Γύρω από το φρούριο γρήγορα αναπτύχθηκαν μικροί οικισμοί, οι βούργοι.
Το φρούριο επικοινωνούσε με την πόλη με τρεις πύλες. Η ανατολική πύλη, απομεινάρια της οποίας υπάρχουν και σήμερα, οδηγούσε στις συνοικίες Χιόνες και Σπλάντζια. Η δυτική γκρεμίστηκε το 1928 και η τρίτη οδηγούσε στην κάτω πόλη.
Οι Ενετοί έκτισαν στο φρούριο πολλά οικοδομήματα, τα περισσότερα από τα οποία είναι αξιοθαύμαστα έγα αρχιτεκτονικής τέχνης. Μέσα σε αυτό, έκτισαν και τη νέα μητρόπολη Santa Maria, το παλάτι του ρετούρη (νομάρχη), τις κατοικίες των αρχόντων, κ.α. Ο Gerola αναφέρει πολλά κτίρια με γοτθική και αναγεννησιακή αρχιτεκτονική, επιβλητικές εισόδους παλατιώς Ενετών αρχόντων, όπως των Τζαγκαρόλων, των Πρεμαρίνων και των Δαμολίνων, με επιγραφές, οικόσημα και λέοντες. Ιδιαίτερη αναφορά γίνεται στο εντυπωσιακό Palazzo του Άγγελου Πρεμαρίνου, που οικοδομήθηκε το 1598.
Ένας κεντρικός δρόμος, η σημερινή οδός Κανεβάρο, διέσχιζε το Καστέλλι από δυτικά προς ανατολικά. Οι Τούρκοι χρησιμοποιούσαν το φρούριο με τον ίδιο τρόπο, δηλαδή για την εγκατάσταση των αρχόντων της πόλης. Έτσι εδώ υπήρχε το παλάτι του Πασά και οι κατοικίες των Μπέηδων, ενώ τα υπόλοιπα κτήρια στέγασαν τις δημόσιες υπηρεσίες. Σε όλες τις επαναστάσεις των Κρητικών, το Καστέλι ήταν το έρεισμα τους. Σήμερα τα λείψανα του φρουρίου είναι ελάχιστα.