Knappen och röret är inte längre listat och godkänt , det ska vara avstängt och övergivna när det möts inom ramen för något nytt arbete efter att ha ersatts med listade kabelaggregat som är lämpliga för platsen (i ditt fodral, icke-metalliskt bunden kabel, aka Romex).
Som sagt, det låter som det du har i rutan brukade vara ett switchben där original knoppen och rörmatningen del av benet inte längre är närvarande (alltså frånvaron av neutral), och genom processen att ta bort den ändrades belysningskretsen så att benet var alltid varmt. Vad du bör göra är att koppla loss det från vilken armatur som helst, nu återmatar den. Var mild , det är skört och isoleringen kan bara sönderfalla i dina händer när du hanterar det.
Om så är fallet, så har du förmodligen inte en multi-feed (två kretsar i samma fas som delar samma neutrala) pågår, det var bara ett switchben, men du borde troligen överväga att dra resten av det gamla kablarna i alla fall.
Om du inte kan hitta var den matas är din omedelbara angelägenhet att se till att lådan är korrekt jordad om den är metallisk, du kan testa detta genom att fästa en ände av en spännings tester på något känt hett ben och den andra till lådan själv. Du borde läsa runt 120V och kunna bekräfta närvaron av någon form av fysisk mark ansluten till lådan. Om så inte är fallet, ring en elektriker och få dem att räta ut det.
Men den bästa vägledningen i dessa fall är bara att bli av med var / när du ser det, speciellt om det har störts nyligen. Det gamla foderet är förmodligen inte kommer att orsaka några problem, men snälla betrakta erring på försiktighetssidan och ha den gamla ljuskretsen igen matad.