Jag antar att du frågar om de sista scenerna på ön, när Jack rymmer genom rikedomarna i öns grotta (ger en mycket oromantisk inställning för Will och Elizabeths konversation).
Svaret på din fråga är att inte alla objekt i den grottan ger dig förbannelsen. Endast mynt gör, som förklarat till Elizabeth av kapten Barbossa:
You don't know what this is, do you?
It's a pirate medallion. This is Aztec gold. One of 882 identical pieces they delivered in a stone chest to Cortes himself. Blood money paid to stem the slaughter he wreaked upon them with his armies.
But the greed of Cortes was insatiable. So, the heathen gods placed upon the gold a terrible curse. Any mortal that removes but a single piece from that stone chest shall be punished for eternity.