Упрочив свое положение, карибские пираты постепенно превратили Тортугу в мощную крепость, претендовавшую на роль подлинной пиратской метрополии в районе Карибского моря. У этого скалистого и недоступного островка находился только один залив, пригодный под гавань. Вход в него прикрывался высокой скалой, на которой пираты построили замок, предназначенный для обороны и прозванный «Голубятней» (по-испански — «Эль Паломар»). Постепенно Тортуга стала богатой колонией — настоящей жемчужиной Антильских островов. Прибытие в 1629 году на Тортугу французских и английских эмигрантов с островов Невис и Сент-Китс положило начало многонациональному флибустьерству. На остров стали стекаться мореплаватели самых различных наций: англичане, французы, датчане, голландцы, португальцы, немцы и даже испанцы. Хотя на Тортуге не придавали особого значения национальному происхождению, численного превосходства там достигли англичане, которые в 1631 году символически взяли верховную власть в свои руки.
На рубеже 1634-1635 годов Тортугой на короткое время вновь овладели испанцы, но уже через несколько месяцев вынуждены были возвратить ее англичанам. Последние стали рассматривать этот островок как свою колонию. Такая политика привела к раздорам между местными флибустьерами: более многочисленными англичанами и более слабыми французами. Около 1639 года в результате этих распрей французов вытеснили с Тортуги. Однако французские пираты не сочли себя побежденными. После непродолжительной борьбы они ушли на Санто-Доминго. И там выжидали благоприятного случая для возвращения на Тортугу, которую трудно было захватить, но легко защитить. В связи с этим она имела большое значение для пиратов.
Благоприятный случай вскоре представился. Губернатор французской части острова Сент-Китс, Филипп де Лонгвийе де Пуанси, подговорил некоего Левассера, которого он стремился выжить при случае со своего острова, выступить против англичан с целью отобрать у них Тортугу. Для выполнения этой задачи в распоряжение Левассера предоставили сорок девять человек. Прибыв на Санто-Доминго, он вступил в контакт с англичанами. Когда переговоры провалились, он объединился с находившимися на Санто-Доминго французскими флибустьерами и 31 августа 1640 года высадился с сотней людей на Тортуге, бросив вызов гарнизону острова из трехсот пиратов. Несмотря на численное превосходство, французы, захватив гарнизон врасплох, разбили англичан и вытеснили их с острова. Более десяти лет Левассер правил Тортугой, стремясь превратить ее в процветающую французскую колонию. Своим жестоким правлением он вооружил против себя привыкших к независимости пиратов. В 1652 году Левассера убили двое его приближенных, надежных, как он полагал, людей.
В следующем пятилетии (1652-1657 годы) на Тортуге воцарился страшный хаос. Французские губернаторы менялись один за другим, и в конце 1654 года колония вновь осталась за испанцами, которые опустошили остров и истребили часть его населения. Остальные жители нашли убежище на Санто-Доминго. Годом позже остров вновь перешел под власть англичан. Вскоре, однако, французы вернули себе Тортугу и в 1657 году утвердили там власть короля Людовика XIV. В 1661 и 1663 годах англичане безуспешно пытались овладеть французской колонией. В 1665-1685 годах она постепенно переходила под контроль экономического и политико-административного аппарата французской же колонии Гаити.
Во второй половине XVII века вновь наступил период английского господства. Это было время флибустьеров различных национальностей. Французская экспансия в бассейне Карибского моря привела к созданию национальных буканьерских сообществ. Одни из них искали опоры у властей на островах, колонизованных французами, другие — на островах, занятых англичанами. Среди небольших, но быстроходных и маневренных корсарских и пиратских суденышек все чаще стали появляться крупные и тяжелые, отлично вооруженные трофейные военные корабли. Флибустьеры начали создавать целые эскадры, плававшие под черным флагом с изображением скелета, прозванного «Веселым Роджером». Росла слава Шевалье Монба-ра, Жамба де-Буа (Деревянная Нога), Франсуа Лолоиэ (или д’Олонэ), Луиса Скотта, Джона Девиса, Лаурента де-Графф, Ван-Горна, Мансфильда и Моргана. Двое последних пытались создать республику буканьеров, которая должна была стать своего рода пиратским государством со столицей на Олд-Провиденс. Однако попытка эта не удалась, и флот ГенриМоргана, несомненно, самого знаменитого из карибских пиратов, обрел базы на ставшей уже английской к тому времени Ямайке и французской Тортуге. Захват англичанами Ямайки в 1655 году укрепил их политические и экономические позиции в Карибском районе. Столица острова Порт-Ройял, прозванная «пиратским Вавилоном», стала главным рынком сбыта добычи, захваченной у испанцев. Местное население и купцы охотно покупали товары у пиратов ввиду их низких расценок.