Du sammanfaller två separata saker.

Spell attack bonus är att slå målet, vilket ger dig en bonus på din spellcasting-förmåga modifierare (Visdom i ditt fall) plus kompetens. Det är "melee spell attack" som nämns i stavningen beskrivning.

Den skada som görs av stavningen om den träffar är 1d8 plus din förmåga modifierare (visdom igen). Så ja det är "bara" 1d8 + 3 för dig just nu. Men kom ihåg att andligt vapen använder din bonusåtgärd för att göra en attack / flytta, vilket innebär att du kan attackera med den och din egen attack eller angripa den och stava en stavning eller använda ett objekt, och så på, och alla utan att behöva koncentration för att behålla stavningen. Det är ganska kraftfullt i det avseendet.

Du använder bara modifieraren

Spiritual Weapon anger skadan som (per PHB s. 278):

1d8 + spellcasting ability modifier

Spellcasting-förmåga modifieraren är helt enkelt förmågan poäng modifierare för den attacken - i det här fallet Wisdom, på din angivna +3.

Du kan öka skadans tärning genom att kasta den här på en högre stavningsplats.

When you cast this spell using a spell slot of 3rd level or higher, the damage increases by 1d8 for every two slot levels above the 2nd.

Det här är annorlunda än hur du bestämmer en lyckad attack

Användning av kompetensbonus gäller aldrig för skador - bara för att attackera rullar.

Att bestämma en lyckad attack innebär att du rullar en d20 och lägger till både din förmåga modifierare och kompetensbonus. Regler kring detta finns på sidan 193 i PHB.