Vad skulle hända om någon avvisade sin Hogwarts Invitation Letter?

De hade rätt att vara homeschooled, eller att studera utomlands.

När Lupin pekar ut, har föräldrar rätt att homeschoola sina barn, eller ens skicka dem utomlands.

"Attendance is now compulsory for every young witch and wizard," he replied. "That was announced yesterday. It’s a change, because it was never obligatory before. Of course, nearly every witch and wizard in Britain has been educated at Hogwarts, but their parents had the right to teach them at home or send them abroad if they preferred."
Harry Potter and the Deathly Hallows, chapter 11 "The Bribe".

Ex. Lucius Malfoy ansåg att skicka Draco till Durmstrang:

". . . Father actually considered sending me to Durmstrang rather than Hogwarts, you know."
Harry Potter and the Goblet of Fire, chapter 11 "Aboard the Hogwarts Express"

Och Ariana Dumbledore sa att vara hemskolad på grund av hennes hälsa, men vi vet alla vad som verkligen hände.

I själva verket är hemskolan i själva verket det enda och det bästa alternativet:

The number of countries that have their own magical school is minuscule compared to those that do not. This is because the wizarding populations of most countries choose the option of home schooling.
Wizarding Schools on Pottermore (by J. K. Rowling)

Vad gäller Harrys fall var det väldigt speciellt, men vi vet för ett faktum att Hogwarts skickar speciella människor till Muggleborns familjer för att korta dem in i Wizarding World (vi tackar @Valorum för att hitta detta citat):

“And will it really come by owl?” Lily whispered.

“Normally,” said Snape. “But you’re Muggle-born, so someone from the school will have to come and explain to your parents.”
Harry Potter and the Deathly Hallows, chapter 33 "The Prince's Tale"

Jag antar att de flesta föräldrar inte är så dumma som Dursleys, och föredrar att deras barn ska utbildas snarare än att vandra världen med en okontrollerad magisk kraft (se Arianas fall).

Jag vet inte om det finns en kanonindikation om vad som skulle hända om någon slog ner en plats vid Hogwarts, men jag skulle kunna föreställa mig att Hogwarts helt enkelt skulle acceptera beslutet och lämna det vid en annan skola. Harry var inte pelted med bokstäver eftersom han sa nej, han var peltad med bokstäver eftersom han inte fick dem (och eftersom, som @Tim noterade i kommentarerna, var han ett speciellt fall som var pojken som levde och allt det ).