Seit dem 13. Jahrhundert gab es hier eine Kirche, die Anfänge des Handels gehen auf das 17. Jahrhundert zurück. Die alte Siedlung und der Kai bilden eine in ihrer Art einzigartige architektonische Einheit.
Die Kirche von Jelsa, wie man sie heute sieht, wurde 1647 von den zu damaliger Zeit besten Handwerkern im Renaissancestil erbaut. Seitdem wurden mehrere Änderungen vorgenommen. In den 50er Jahren wurde Teile der alten Ausschmückung im Kircheninneren wiederhergestellt. Das Schulhaus von 1774 ist heute Schulmuseum. Nicht weit vom Zentrum in Jelsa entfernt liegen der unter Denkmalschutz stehende Pfarrhof und eine Galerie.
In der Sommersaison kannst du an geführten Touren teilnehmen, die sowohl das Schulhaus als auch die Kirche in Jelsa umfassen.