ChatGPT雖然方便，但其真實性和準確性依然為人咎病。早前猶他州一名律師就因為過於相信ChatGPT，引用了以ChatGPT生成的虛假文件，而遭受制裁。
據外媒消息指，律師Richard Bednar早前就一宗持續超過五年、涉及一名Layton company前高管與公司之間的爭議，提交了一份「臨時上訴申請」。但及後遭被告律師發現，上訴書出現多處虛假的案件引證。
被告律師指出，上訴書有部分內容是AI生成，包括至少一個無法從任何法律數據庫中找到的案例引用，以及對所提及主題完全無關的案例。Richard Bednar及後承認，虛假案件引證由一位「無證法律文員」撰寫，並在提交文件之前沒有檢查上訴書是否準確。而負責提交文件的法律人員是一名法學院畢業生，事後他被律師事務所解僱。
Richard Bednar也提到，上訴書的法律依據，都是從ChatGPT 獲得的，並提出願意支付相關的律師費來彌補。由於引用虛假資料，Richard Bednar需支付被告上訴書和聽證會的律師費，向客戶退還檔案和參加聽證會所用時間的費用，並向總部位於猶他州的法律非營利組織And Justice for All捐贈1,000美元（約7,843港元）。