Nej, det är en del av svärdets magiska förmågor, som endast är tillgängliga för dämpade varelser
Per DMG s. 138:
Without becoming attuned to an item that requires attunement, a creature gains only its nonmagical benefits, unless its description states otherwise.
Så, när du förlorar attunement, fungerar de magiska förmågorna inte längre för dig, och svärdet blir ett vanligt svärd i dina händer.