Existia neste local, antes de 1518, uma ermida dedicada a Conceição bem como um pequeno forte, destruído pelo mar em 1606. Ocupada pelos Franciscanos, em 1608, a ermida foi sendo regular-mente ampliada até 1641, altura em que é, tam-bém, destruída pelo mar. Embora a fortificação da costa das Velas tenha sido imposta, em 1572, por ordem do rei D. Sebastião, a construção da Fortaleza de Nossa Senhora da Conceição só teve inicio em 1644. Armava 8 bocas-de.fogo e compor-tava casa de guarda, paiol, cisterna e uma guarita de vigia a poente, ainda hoje existente. Em conse-quência dos estragos causados pelo terramoto de 1757 e pela enchente de 1856, foi necessário pro-ceder-se à substituição de grandes troços de tufo, por paramentos de basalto aparelhado, entre 1860 e 1894. Não obstante o esforço feito, uma enchente de mar, em 1899, destruiu parte da muralha desta fortaleza, bem como algumas casas anexas, dando inicio a um período de ruínas e decadência que levou, posterior-mente, a uma sucessão de diver-sas utilizações deste espaço

.