Låter allvarligt.
Närvaron av linjespänning (117V) på ledningen indikerar en eventuell tvärbindning mellan två kretsar. Om du sätter en kretstestare mellan det bortkopplade svarta och din panelneutrala, och det lyser, har du problem. Som @shirlock homes säger ovan, stäng av avbrott en efter en tills den spänningen går bort.
En gipsskruv genom en annars oförändrad krets skulle inte ge de resultat du beskriver.
Du kan upprepa experimentet med brytaren på och av: den ska producera samma resultat som att ta bort tråden.