A exclusividade indígena acabou quando chegaram os portugueses em sua 2ª expedição exploradora. Em 1503, uma esquadra portuguesa para reconhecimento do litoral brasileiro sofreu um naufrágio em Fernando de Noronha. a Expedição naval se dispersou e, sob o comando de Américo Vespúcio, seguiu viagem até a Bahia e depois até Cabo Frio (Até 1985 Arraial do Cabo foi distrito de Cabo Frio, depois foi emancipado). O Cabo Frio não é o cabo que viria a ser povoado apenas, como arraial da cidade de Cabo Frio, mas onde os principais acontecimentos históricos da colonização portuguesa realizaram-se: ataques piratas, naufrágios, guerras indígenas e a construção de igrejas e feitorias. O palco do descobrimento foi a Praia dos Anjos, antes chamada de Praia da Rama. O navegador florentino Américo Vespúcio desembarcou com três naus e deu à localidade o nome de Cabo Frio dando início ao primeiro núcleo populacional do país, assim como à exploração do pau-brasil e ao extermínio dos índios, rapidamente dizimados pelos estrangeiros.

Sem a instalação definitiva dos portugueses, por muito tempo aquelas terras ficaram entregues à pirataria internacional.

Desde 1504 os franceses traficavam pau-brasil e outras mercadorias com os tupinambás. Este tráfico ocorreu durante as três primeiras décadas do século XVI, restrito ao litoral da região nordeste do Brasil. No entanto, a partir de 1540, em virtude de um rigoroso controle naval português no litoral nordestino, os franceses passaram a explorar os recursos naturais de Cabo Frio - região sudeste do país. Estes, em 1556, fizeram outra fortaleza-feitoria para exploração do pau-brasil, na mesma ilhota utilizada anteriormente pelos portugueses, hoje denominada Casa de Pedra. Esta fortaleza-feitoria, construída um ano depois da fortaleza de Villegaignon, na Cidade do Rio de Janeiro, ampliou e consolidou o domínio francês no litoral sudeste.