Kyrkja, som har 95 sitjeplassar, vart vigsla 18. juli 1897. Det var Margaret Sophie Green, gift med Knut Kvikne, som hadde ideen til kyrkja. Arkitekt Jens Zetlitz Kielland laga teikningane.
Den tilhøyrer Church of England og er underlagt biskopen av Gibraltar - som er overhovud for alle anglikanske kyrkjer på det europeiske fastlandet. Kyrkja vart reist til minne om Margaret Sophie Green Kvikne som kom til Noreg som fjellklatrar. Ho vart gift med Knut Kvikne og såleis deleigar av Kviknes Hotel. Margaret var prestedotter frå England og det vert fortalt at ho aldri fann seg til rette i den norske kyrkja med eit luthersk rituale. Difor var det hennar siste ynskje at det skulle reisast ei engelsk kyrkje i Balholm. Ho døydde i 1894. Det var mannen hennar Knut Kvikne som sette i gang arbeid, som vart gjennomført på tre år.
For dei mange turistane som kjem til Balestrand, er møtet med den engelske kyrkja, Church of St. Olaf, ei uventa og gledeleg overrasking. Ho er norsk i stilen, men gudstenestene går føre seg på engelsk og etter anglikansk mønster. Dei vert forretta av engelske prestar som kvar sommar skifter på å gjere teneste her.