För det mesta för att Jim arbetade med Batman när de räddade honom över Rachel
I filmen kan vi se Two-Face som går efter ett antal personer som är involverade på Rachels död, inklusive poliser.
Som tittare vet vi att det var Batman som gav Jim "order" att gå efter Rachel och lämna Dent till honom men Harvey vet inte det. Därför anser han att Jim är ansvarig för Rachels död.
Det är också värt att notera att Harvey Dent var smeknamnet "Two Face" långt innan han blev sårad och det berodde på att han alltid hade en mörk sida och vrede mot den korrupta polisavdelningen. Hans vrede mot polisavdelningen kan ha spelat en roll i den personliga attacken på Jim. (Detta anges inte i filmen men är från "Batman the Dark Knight Returns" komisk där "Two-Faced" är "botad" både fysiskt och mentalt men är fortfarande "Two-Face" eftersom det är vem Dent verkligen är).
TL; DR: Jim blir uppmanad att be om ursäkt för hans orättvisa beslut som kommissionären som "orsakade" (från Two-Face's PoV) hans älskade död.