北宋时期，为了防御北方契丹族的入侵，宋朝廷在此建起了“刀鱼寨”。明朝洪武九年（1376），为了抵御倭寇的侵扰，在宋朝刀鱼寨的基础上建起了码头、土城墙、炮台等建筑，正式得名为“蓬莱水城”。明代著名的民族英雄戚继光就曾在此操练水军，抗击倭寇。（到了明代后期，登州府的管辖范非常大，包括了九个县，一个州，大致相当于现在威海和烟台两市的范围，在当时流传着“金复海盖，辽阳在外”的说法，即现在辽宁省的金州，复州，海城和盖州都属于当时登州的管辖范围。）

    清朝咸丰八年（1858）签定的中英《天津条约》中，曾把登州港做为对外通商口岸，但由于登州港水位较浅，泥沙淤积比较严重，不能停泊大型机动船只，因而改辟芝罘（烟台），自此，胶东半岛的政治、经济、文化中心逐渐东移。

水城面积为25万平方米。布局基本保持的是明代风格。水城有南北两门，南门振扬门，与陆路相连。北门水门，是出入水城的海上咽喉，城中的小海面积为7万平方米，是停泊船只的港湾。1984年小海清淤，挖掘出一艘元代木制舰船和一部分文物，现陈列在古船馆里。

    整个水城的建筑布局巧妙，结构合理，充分体现出了古代劳动人民的聪明才智。整体建筑主要分为两大部分，一是海港建筑，包括以小海为中心的水门、防波堤、平浪台等；二是军事建筑，包括炮台、护城河等。其中设计最为巧妙的当属平波台。各位可以看到。迎着水门南岸突起的部分便是平浪台，它迎水门而立，巍峨挺拔。南北长100米，东西宽60米，当海浪由水门涌入，经平浪台迎面阻挡，便减缓势头，折向西去，所以即使是港外浊浪滔天，港内小海仍平静安宁。同时，平浪台还能遮挡来自水门以外的海上的视线，敌人难以窥视港内的秘密，如果在战争中遇到紧急情况，平浪台又是支援水门和东西两炮台的后备基地，真可谓一举数得。

蓬莱水城，作为中国建筑最早，保存最完整的古代军港，1982年被国务院公布为全国重点文物保护单位。

    近几年来，经众多专家的多方论证，充分肯定了水城的历史价值和军事价值，为了适应旅游业发展的需要，市委市政府于1999年恢复了蓬莱水城的东城墙，并计划在2006年之前，完成水城整体恢复工程，再现明代古军港的风貌。