東平洲全島大部分由沉積岩組成，約有6000萬年歷史，是香港最「年輕」的岩石。東平洲的沉積岩層理分明，每層層理的物質、組織及結構也差不多，可推斷這裏沒有發生過大型地殼活動，沉積過程相對平靜，在這環境下形成的沉積岩，層理貌似一頁頁的書本，故稱為頁岩，又由於頁岩與千層糕相似，故有「千層石」之稱。更樓石是兩座在平坦的海蝕平台上高起7米的石柱，在地質學稱為海蝕柱，因活像守護東平洲的更樓而得名。
塔門英文名為Grass Island，全因山頂觀海亭周邊擁有一片遼闊的草原，現時有不少塔門牛在棲息。岸邊兩塊呈「呂」字形、上下堆疊起來的方石，高約六公尺，神奇地屹立不倒。疊石遠觀外形酷似佛塔，加上附近的塔門洞，整個看起來猶如一道門迎向大海，所以古人稱這個島為「佛塔門」，後來簡稱塔門。
