신라 문무왕 16년(676년) 의상대사가 관음보살의 진신이 이 해변의 굴안에 머무신다는말을 듣고 굴 속에 들어가 예불하던 중 관음보살이 수정으로 만든 염주를 주면서 절을 지을 곳을 알려주어 이곳에 사찰을 창건하고 낙산사라 하였다 한다.

신라 헌앙왕 2년(858년) 범일대사가 중창하였으나 몽고의 침입으로 소실되었다. 조선 세조 13년(1467년) 왕명으로 크게 중창하였고 예종 원년(1469년)에도 왕명으로 중건이 이뤄졌으며, 인조 9년(1631년) 동 21년(1643년) 재차 중건이 있었으나 정조 원년(1777년) 화재를 당하여 다음해 중건하였다. 그러나 1950년 6.25 동란으로 또 다시 소실되어 1953년 재건하였다. 사찰 내에는 조선 세조 13년(1467년) 크게 중창할 때 세운 것으로 추정되는 칠층석탑(보물 제 499호)과 예종 원년(1469년)에 주조한 동종(보물 제 479호)이 있으며, 사찰 입구에 있는 홍예문과 원통보전둘레에 있는 담장은 강원도 유형문화재로 지정되었다. 부속건물로는 의상대, 홍련암 등이 있다.