唐贞观二十年(公元646年)于乌湖岛（今隍城岛）设乌湖戍，置乌湖镇，于大谢岛（今南、北长山岛）设大谢戍，为长岛建置之始。

唐神龙三年（公元707年）蓬莱建县后，长岛隶属蓬莱县。

宋称京东东路登州东牟郡蓬莱县沙门寨。初设沙门、砣矶二寨，后将砣矶寨并入沙门寨。

元属般阳路登州蓬莱县，设沙门岛巡检司。区划为二社，沙门社：辖今南长山岛、北长山岛、庙岛、大黑山岛、小黑山岛；牵牛社；辖今砣矶岛、大钦岛、小钦岛、南隍城岛、北隍城岛。

明属山东布政使司登州府蓬莱县。仍设沙门、牵牛二社。明洪武年间岛民外迁。至清朝道光年间始重新划定建制，设十三社。光绪年间，蓬莱县衙分别在长山岛、庙岛、大黑山岛、小黑山岛、砣矶岛、大钦岛、小钦岛、北隍城岛设永绥局，以维护海上运输和岛内秩序。

1913年长岛成立地方自治会，负责境内行政管理，隶属蓬莱县，由蓬莱派警察维持地方治安，这是长岛首次实行自治。

1928年，奉糸东北海军进驻长岛，成立长山八岛民政局。区划为13社，辖51个村庄。

1929年冬，国民党山东省政府决定将长山八岛自蓬莱县划出，设置长山八岛行政区，设行政委员一人，秉承海军和省府命令行事。

1933年，长山八岛行政区改为长山八岛特区，设长山八岛特区公署，仍由省直辖。

1934年冬，13社改为13乡。

1935年3月，国民党山东省第十二届385次政务会议决定撤销长山八岛特区行政专员公署，改设长山八岛公安分局，归蓬莱管辖。同年6月，山东省政务会议决定仍设长山八岛特区， 直属省政府。

1937年月1月，国民党山东省政府第557次政务会议决定，将长山八岛特区划归第七行政督察区管辖。同年7 月芦沟桥事变发生后，日本帝国主义发动了全面侵华战争，特区政府为避敌迁至蓬莱阁办公。当时的专员张梅亭经多次请求调到龙口，带走了大多员警和枪枝。此后长山八岛专员公署又几经易人，力量日益单薄，已名存实亡。

1939年4月，行政专员公署解散。5月，日伪开始统治长岛。9月成立长山八岛专员办事处，设于庙岛，隶属烟台市。

1941年9月，撤销长山八岛专员办事处，设伪长山岛区， 隶属蓬莱县。

1945年7月，长岛第一次解放， 中共北海地委在蓬莱组建长山岛军政办事处，随后进岛。9月组建长山岛特区，隶属北海地委。下设庙岛、砣矶、钦岛三区。11月增设玉石区。1946年2 月又增设黑山区和隍城区。

1947年8月，国民党进占长岛，设长山八岛区署，隶属蓬莱县。下设4乡：长岛乡、连岛乡、蓬岛乡、砣矶乡。

1948年3月区划改为7乡1独立保。同年4月，国民党山东省政府改长山八岛区署为长山八岛设治局。7 月又改为东莱群岛设治局。

1949年8月12日，长岛第二次解放， 恢复长山岛特区建制，仍隶属北海专区。下辖6个乡：玉石乡、庙岛乡、黑山乡、 砣矶乡、钦岛乡、隍城乡。

1950年5月，长山岛特区政府改为长山岛特区办事处。11月，经内务部批准又恢复长山岛特区政府，为县级，隶属莱阳专区。

1956年5月25日，国务院第29 次全体会议决定：撤销长山岛特区，成立长岛县，隶属莱阳专区。

1958年11月，长岛县与蓬莱、黄县合并，称蓬莱县长岛公社，原6乡改为6个大队。1962年4月撤社建区，所辖6个大队改为6 个公社。

1963年6月，经国务院批准，恢复长岛县，隶属烟台地区。

1982年1月，所属南长山公社改为长岛镇。

1984年3月撤社建乡，原1镇5社改为2镇4乡， 即南长山镇、砣矶镇、黑山乡、北长山乡、钦岛乡、隍城乡。撤销大队，建立村委会。

1985年4月扩建4个小乡：庙岛乡、小黑山乡、小钦岛乡、南隍城乡。全县辖2镇8乡。

2001年3月，庙岛乡并入北长山乡，小黑山乡并入大黑山乡。全县辖2镇6乡。