A hatékony használat feltételezi, hogy megismerjük az automatizált esszéértékelés korlátait. Powers et al. (2002) tanulmányában azokat az eseteket vizsgálta meg, amikor jelentős eltérést tapasztaltak a gépi és emberi esszéértékelés között. A program a legmagasabb pontszámot adta, a vizsgáztató viszont nagyon alacsonyra pontozta azokat az írásokat, amelyek a megadott cím nagy részét bemásolták a szövegbe, vagy amelyek elemzés helyett egyetértettek a megadott érvekkel. Ebből az következik, hogy a program a szöveg egyezőségét preferálja, tehát egy bizonyos ponton ezt a paramétert a fejlesztőknek pontosítaniuk kell. Azokat az esszéket, amelyekben irodalmi/kulturális utalás szerepelt, vagy az érvek közötti átmenet nem volt explicit módon jelölve, a program alacsony pontszámmal büntette. Powers ebből azt a következtetést vonta le, hogy az E-Rater program emberi értékelő nélkül nem alkalmas a feladat ellátására. A tanulmány másik érdekes konklúziójaképpen ráterelődött a figyelem azokra a szövegjellemzőkre, amelyeket gépi eszközökkel nem lehetett mérni, és amelyekre így – valószínűleg nehezen megragadható voltuk miatt – különösképpen fel kell hívni a vizsgázók figyelmét.