正是由于嵛山岛“濒海孤悬”，历史上亦成为海盗集团和造反势力的觊觎之地。活跃于清中叶的海盗蔡牵就是以嵛山岛这个“外洋门户”为主要据点，组成海上武装集团与清廷对抗，横行台湾海峡达十数年之久，给往来于海上的商民带来极大的灾难。

    蔡牵(1760—1809年)，泉州同安人，流落嵛山当渔工。渔工生活艰苦，每因下海捕不到鱼而为东家所嫌弃，食不得饱。他在渔工中串联，于乾隆五十五年(1790年)相率下海为盗。他貌不惊人，矮小、黄瘦，但性格果敢、机变，在渔工中很有威信，被尊称为“大老板”“不出海”。蔡牵下海为盗后，先在嵛山马祖澳建立据点，抢劫渔船，或扣留商船，要求船主取赎，或“打单票”(发执照)。当时海禁尚严，一些走私商船常与蔡牵勾结，以土产供蔡牵，船队则以转运安南(今越南)、南洋等地私货内销。经历几年经营，海盗队伍逐渐发展，活动范围不断扩大，形成了以蔡牵为首的“凤尾帮”，最终形成纵横东南海上的海盗集团。

    蔡牵的船帮以嵛山为据点，驰骋于闽、浙、粤洋面，劫船越货，封锁航道，坐收“出洋税” ......