Ähnlich wie St. Hilarion mit seinen drei Verteidigungsebenen, weist Buffavento zwei befestigte Zonen auf: in 954 m Höhe auf dem Gipfel und auf einem zwei, drei Dutzend Meter tiefer gelegenen Absatz. Auf engstem Raum, sich förmlich in das zerklüftete graue Dolomitgestein klammernd, waren um das Jahr 1000 die ersten Gebäude unter größten Mühen errichtet worden, nachdem Byzanz` Kaiser Alexios I. eine Verstärkung der Inselverteidigung angeordnet hatte. So entstanden nach und nach Wohngebäude und Lagerräume, Zisternen, Wachstuben, Kerker und Beobachtungsplattformen auf einem Gelände, dessen extreme Gestalt der Burgwache enorme taktische Vorteile gegenüber Angreifern verschaffte und aufwendige Befestigungsanlagen überflüssig machte. Von den Lusignan-Königen im 14. Jahrhundert ausgebaut, diente Buffavento den Machthabern nicht als Residenz, wohl aber als Fluchtort in Krisenzeiten, als Verbannungsort und Staatsgefängnis und als wichtiger militärischer Beobachtungs- und Signalposten.
Schon in der Spätzeit der Lusignans vernachlässigt, wurden die Bauten auf dem Buffavento unter venezianischer Herrschaft geschleift.