Fu il Conte Stefano Cottone, IV signore di Bauso, a far costruire nel 1590 il primo borgo che ha forma di castello a difesa dalle incursioni da terra e dal mare. Le dimensioni e la fattura dimostrano che l’edificio era solo una residenza secondaria dei Cottone, mentre la fortificazione vera serviva anche ai cittadini del borgo come rifugio nel caso di attacchi da parte di corsari barbareschi, a quell’epoca frequenti in tutta l’isola.
Il castello di Spadafora, probabilmente costruito alla fine del cinquecento intorno ad una torre difensiva dalla famiglia Spadafora per il controllo costiero e per la difesa del feudo di S. Martino, è stato oggetto di diversi studi e su di esso si è molto scritto a partire l'architetto fiorentino Camillo Camiliani, soprattutto per quanto riguarda la data di costruzione.