Maža Šv. Karloso pilis jau penkis šimtmečius saugo Palmos uostą. 1600 metais Ispanijos karalius Pilypas III įsakė jį pastatyti siekiant apsaugoti jūrų kelius. Statyba, kurios finansavimas buvo padalintas tarp monarchijos biudžeto ir prekybos kolegijos, prasidėjo 1610 m. ir baigėsi 1612 m. Iš pradžių fortas buvo pavadintas Porto Pi pilimi, tačiau netrukus gavo dabartinį pavadinimą Maljorkos vicekaralio Carloso Colomos garbei. 1662-63 m. stačiakampio plano pilis, kurioje tuo metu buvo tik 5-6 pabūklai, buvo išplėsta, dalyvaujant inžinieriui Visentei Mutai. Be to, per Ispanijos paveldėjimo karą jis buvo papildomai sutvirtintas nuo jūros. XIX amžiaus pabaigoje pilis suremontuota, techniškai įrengta, vakarinėje pusėje iškasta užtvanka.

Pilis gerai išsilaikiusi, naktį apšviečiama. Pilietinio karo metu fortas buvo politinių kalinių kalėjimas. Šiuo metu jame yra Porto Pi karinio jūrų laivyno bazė, taip pat miesto karinės istorijos muziejus, kuriame sukaupta didelė ginklų, žemėlapių, uniformų, archyvinių dokumentų kolekcija. Pilis yra nacionalinis Ispanijos lobis.