Det korta svaret är: HYDRA är en terroristorganisation, medan SHIELD är en brottsbekämpande myndighet. I praktiken är det lite mer komplicerat.
I MCU är HYDRA en hemlig organisation som ursprungligen bildades som en kult som tillbedde en mycket kraftfull omänsklig, och vars mål var att föra honom tillbaka från exil till jorden. (Det här är HYDRA i tv-servern SHIELD-agenter - ingen av den här bakgrunden visas i filmerna).
Under andra världskriget bildade en grupp tyska HYDRA-agenter en splintgrupp, den ena folk tänker på när de pratar om HYDRA. Detta var i grunden en avancerad forskningsavdelning som utnyttjade utländskt teknik (som Tesseract) för att bygga avancerade vapen för den tyska armén. De uppförde sig som om de arbetade för att stödja Hitler och hans mål, men i verkligheten planerade HYDRA: s ledare att erövra världen för sig själva.
När WWII slutade, med Hydras sida att förlora, gick det under jord. De fortsatte att arbeta för världsdominans och fortsatte att studera avancerad utomjordisk teknik, men de började också använda mer subterfuge och spionage tekniker. En av dem var infiltrationen av SHIELD.
Samtidigt som den nazistiska filialen av Hydra bildades byggde USA sin egen avancerade forskningsgrupp för att motverka den. Detta var SSR - Strategic Science Reserve - och du ser denna grupp i aktion i Captain America: The First Avenger . Efter kriget slutade den amerikanska regeringen fortsätta att motverka HYDRA genom att spegla sitt beteende: tre av SSR-stora parykar (inklusive Howard Stark och Peggy Carter) bildade SHIELD . Det här var en terroristgrupp som, liksom HYDRA, fungerade under jord. Den gamla SSR blev en del av SHIELD, och en av SHIELDs primära funktioner var att hämta och studera utomjordisk teknik för att hålla den ut ur HYDRAs hand.
(Exakt vem SHIELD svarade på är lite luddig, det verkar vara en del av den amerikanska regeringen, men det verkar också vara en del av FN, och det verkar också vara ett skuggigt världssäkerhetsråd, de flesta sannolikt började det som en amerikansk myndighet och utvidgades som HYDRAs hot också utvidgas.)
Båda grupperna fungerade på samma sätt, men av olika skäl. HYDRA håller sig underjordisk för att undvika detektering av brottsbekämpning, och att behålla sina planer för världsdominans hemlighet. SHIELD stannar under jord eftersom de typer av faror de hanterar skulle sannolikt leda till panik om de blev allmänt kända.
När Chitauri invasionen hände, och avengersna blev offentliga, blev existensen av SHIELD offentlig kunskap. Snart efter det blev det avslöjat att HYDRA i början hade infiltrerat SHIELD och hade i stor utsträckning kört verksamheten. Så i praktiken är linjen mellan de två grupperna mer suddig som folk trodde.
I MCU-filmerna är båda organisationerna faktiskt döda - Captain America: Winter Soldier visar slutet på SHIELD och den förmodade änden av HYDRA samtidigt; Avengersna: Age of Ultron visar Avengers jagar ner de sista återstoden av HYDRA. I tv-universet byggde båda grupperna sig efter deras utflykt; SHIELD sjönk så småningom och eliminerade den sista av Hydra toppoperationer och blev sedan offentligt igen som en del av den omänskliga krisen.