Ja, det låter defekt.
En tryckregulator (vilket är vad en PRV är) bör stoppa flödet när trycket överstiger inställningen. Det låter som om du kan ha en liten läcka, vilket kan vara från skräp som fångats i ventilen, ett repad ventilsäte eller något liknande.
Innan du spenderar pengar på det, bestämma om PRV är ditt ansvar eller vattenföretagets ansvar. Om det är deras, kan de bara byta ut det för dig.
Ditt beskrivna beteende (särskilt hastigheten på det) verkar vara en läckande PRV. Ett något annat fall uppstår när det finns en PRV (som också fungerar som en enkelriktad eller backventil) och en varmvattenberedare utan expansionstank - då kan vattentrycket stiga när kallt vatten värms upp och inga ventiler är öppna .