Strandstaden har røtter tilbake til 1600-tallet da Jelsa var viktig som kirkested og hovedsokn. I Jelsa finner du i dag et koselig miljø av småhus fra 1700-tallet med den vakre trekirka, i renessansestil fra 1647, som nærmeste nabo.
I et av de små, hvitmalte husene finner du Skolemuseet «Den Riibergske Stiftelse». Skolehuset ble bygd i 1774 for midler fra en stiftelse opprettet av Marcille Riiberg i 1755. Skolen var både barneskole for barna på Jelsa, og den fungerte som gratis lærested for to ungdommer om gangen i to år, slik at de senere kunne gå ut i bygdene som fungerende lærere i utsted skolene. I over 40 år sendte Den Riibergske Skole ut lærere i Ryfylke fram til lærerutdanningen i 1820 var skrinlagt av økonomiske årsaker. Barneskolen var fungerende i huset til tidlig på 1900-tallet. Etter initiativ fra personalet ved Jelsa skole ble skolehuset restaurert og gjort om til museum i 1983.
Skolehuset på Jelsa er et viktig skolehistorisk minne, men det er òg en bygning som er viktig for sentrumsmiljøet, og som bidrag til å fortelle strandstadhistorien.
I sommersesongen kan du delta på omvisinger som omfatter både skolehuset og kirka på Jelsa. Oppmøte er i den vesle bua på strandstaden.