Die Autoren eines Berichts, der die Technologie hinter dem Social-Media-Verbot für Jugendliche in Australien testete, gerieten in die Kritik. Die Untersuchung der Grundlage dieses Berichts zeigte, dass die Verwendung von Künstlicher Intelligenz (KI) bei der Erstellung von Zitaten zu Fehlern führte. Eine laufende Senate-Untersuchung, die das Gesetz zur Regulierung der sozialen Medien stärken sollte, erhielt eine Einreichung, welche mindestens zwei Zitierfehler in dem Dokument aufzeigte. Es wurde festgestellt, dass die Verweise in dem Bericht nicht auf tatsächliche Quellen beruhten, sondern durch KI-Halluzinationen generiert wurden.
Der Bericht resultierte aus einem dreitausendfachem Testlauf der Altersverifizierungstechnologien, die für die Social-Media-Plattformen im Rahmen des Verbots für Minderjährige unter 16 Jahren zur Verfügung standen. Kommunikationsministerin Anika Wells pries den Bericht als Nachweis für „viele effektive Optionen“ zur Altersprüfung an, was den Weg für die Inkraftsetzung des Verbots im Dezember des Vorjahres ebnete.
Obwohl die Autoren eingeräumten, dass ChatGPT bei der Überarbeitung von Absätzen zur Verfügung stand, bestritten sie, dass die KI die Forschung selbst generiert oder die Quellen erstellte. Die Organisation ACCS erklärte, dass jede Quelle überprüft wurde und die Verweise als gültig befunden wurden. Dennoch identifizierte die Analyse des Guardian Australia sechs Referenzen in einem Abschnitt, die Fehler enthielten. Diese Fehler umfassten Digital Object Identifiers, die auf nicht existierende wissenschaftliche Arbeiten verwarfen, sowie Kombinationen von Autorennamen, Fachzeitschriften und Veröffentlichungsjahren, die mit bekannten Quellen nicht übereinstimmten.
Weitere Klarstellungen, die die Fehler korrigieren sollten, enthielten selbst Ungenauigkeiten. Eine zitierte wissenschaftliche Arbeit, die ACCS als Grundlage nutzte, stellte sich als nicht öffentlich zugänglich heraus, obwohl sie in einem späteren Jahr veröffentlicht wurde. Zudem stellte sich heraus, dass der von ACCS zitierte Hauptautor der Arbeit nie auf der Publikation erschien und der Bericht die Arbeit falsch zusammengefasst hatte. Die Organisation räumte ein, dass KI zur Straffung von Textabschnitten eingesetzt wurde, jedoch nicht zur Erstellung der Forschung selbst.
Experten äußerten tiefe Besorgnis über die Konsequenzen solcher Fehler. Professor Christian Downie, von der Australian National University, warnte davor, dass falsche Zitierungen in Regierungsdokumenten, ob durch KI oder andere Mittel verursacht, zu fehlerhaften Entscheidungen führen konnten und das öffentliche Vertrauen in Institutionen untergraben. Es wurde gefordert, dass die Regierung vertragliche Regelungen und Sanktionen implementierte, um solches Verhalten bei Auftragnehmern zu verhindern. Eine unabhängige Senatorin forderte eine Entschädigung und Rückerstattung vom Auftragnehmer des Berichts.