Construída no século XVIII pertenceu à família Cunha da Silveira tendo sido restaurada, em 1874, por José Pereira da Cunha da Silveira. Deixou de estar aberta ao culto, em 1912, sendo actualmente propriedade do Império do Espírito Santo do Canto. No século XVI, nas proximidades da ermida das Almas esteve uma das mais antigas ermidas edifica-das na ilha, ermida de Santo Antão, no entretanto demolida na segunda metade do século XIX.