AI ఏజెంట్లు కేవలం ప్రశ్నలకు సమాధానాలు ఇవ్వడం లేదా సమాచారాన్ని వెతకడం వరకే పరిమితం కావడం లేదు. ఇప్పుడు అవి వెబ్సైట్లలో చర్యలు తీసుకోవడం, బుకింగ్లు చేయడం, సేవలను నిర్వహించడం వంటి పనులను కూడా స్వయంగా చేయగలుగుతున్నాయి.
అయితే ఆ స్వయంప్రతిపత్తి ఎంతవరకు సురక్షితం అనే ప్రశ్నకు ఆస్ట్రేలియాలో జరిగిన ఓ ఘటన కొత్త ఉదాహరణగా మారింది. ఓ వ్యక్తి తన AI ఏజెంట్ను జిమ్ క్లాస్ బుక్ చేయమని కోరగా, ఆ ఏజెంట్ సాధారణ ప్రక్రియను దాటి బుకింగ్ సిస్టమ్లోని భద్రతా లోపాన్ని ఉపయోగించింది.
వెయిటింగ్ లిస్ట్లో ముందుకు వెళ్లేందుకు మరో బుకింగ్ రద్దు
జిమ్ క్లాస్కు వెంటనే సీటు లభించకపోవడంతో AI ఏజెంట్ వెయిటింగ్ లిస్ట్ను పరిశీలించింది. తన యూజర్కు సీటు దక్కేలా చేయడానికి బుకింగ్ సిస్టమ్లోని APIలో ఉన్న లోపాన్ని ఉపయోగించినట్లు ఈ ఘటనకు సంబంధించిన వివరాలు వెల్లడిస్తున్నాయి.
దీని ద్వారా ఏజెంట్ మరో వ్యక్తి రిజర్వేషన్ను రద్దు చేసి, తన యూజర్ను వెయిటింగ్ లిస్ట్లో ముందుకు తీసుకువచ్చింది.
ఇక్కడ కీలక విషయం ఏమిటంటే.. యూజర్ మరో వ్యక్తి బుకింగ్ను రద్దు చేయాలని AIకి సూచించలేదు. అయినప్పటికీ, తనకు అప్పగించిన లక్ష్యాన్ని సాధించేందుకు AI ఏజెంట్ ఊహించని చర్య తీసుకుంది.
AIకి హ్యాక్ చేయమని ఎవరూ చెప్పలేదు
ఈ ఘటన AI ఏజెంట్లలోని ఒక కీలక సమస్యను వెలుగులోకి తీసుకొచ్చింది. సాధారణ AI చాట్బాట్ యూజర్ ప్రశ్నకు సమాధానం ఇస్తుంది. కానీ AI agent ఒక లక్ష్యాన్ని ఇచ్చినప్పుడు దాన్ని సాధించేందుకు అనేక దశల్లో నిర్ణయాలు తీసుకుని చర్యలు చేపట్టగలదు.
ఈ సందర్భంలో లక్ష్యం జిమ్ క్లాస్లో స్థానం పొందడం. ఆ లక్ష్యాన్ని సాధించడానికి ఏజెంట్ సాధారణ పరిమితులను దాటింది.
యూజర్ ఉద్దేశం హ్యాకింగ్ చేయడం కాదని, సిస్టమ్లోని లోపాన్ని ఉపయోగించాలని కూడా సూచించలేదని ఈ ఘటన స్పష్టం చేస్తోంది. అయినప్పటికీ AI తన లక్ష్యాన్ని సాధించే క్రమంలో భద్రతా పరిమితిని దాటింది.
అసలు సమస్య ఎక్కడ ఉంది?
ఈ ఘటనలో AI మాత్రమే సమస్య కాదని నిపుణుల చర్చలు సూచిస్తున్నాయి. బుకింగ్ సిస్టమ్లోని APIలో సరైన authorization checks లేకపోవడం కూడా ప్రధాన కారణంగా కనిపిస్తోంది.
ఒక యూజర్కు తన సొంత బుకింగ్ను మార్చుకునే అవకాశం ఉండొచ్చు. కానీ అదే అనుమతితో మరో వ్యక్తి రిజర్వేషన్ను రద్దు చేయగలిగితే అది తీవ్రమైన భద్రతా లోపంగా మారుతుంది.
మనుషులు సాధారణంగా "ఇది చేయడం సరైనదేనా?" అనే సామాజిక, నైతిక ప్రశ్నలను పరిగణనలోకి తీసుకుంటారు. AI ఏజెంట్కు అలాంటి పరిమితులు స్పష్టంగా నిర్వచించకపోతే, అది లక్ష్యాన్ని సాధించడాన్ని మాత్రమే ప్రాధాన్యంగా తీసుకునే ప్రమాదం ఉంటుంది.
తర్వాత AI ఏం చేసింది?
తాను చేసిన పని తప్పని గుర్తించిన తర్వాత AI ఏజెంట్ క్షమాపణ చెప్పింది. అయితే రద్దు చేసిన మరో వ్యక్తి బుకింగ్ను తిరిగి పునరుద్ధరించలేకపోయింది.
తర్వాత జరిగిన సంఘటనను సాఫ్ట్వేర్ ప్రొవైడర్కు తెలియజేయడానికి ఇమెయిల్ తయారు చేయడంలో సహాయం చేస్తానని AI సూచించింది.
AI Agentsపై ఎందుకు ఆందోళనలు పెరుగుతున్నాయి?
AI ఏజెంట్లు భవిష్యత్తులో కేవలం జిమ్ క్లాసులు లేదా రెస్టారెంట్ బుకింగ్లకే పరిమితం కాకపోవచ్చు. విమాన టికెట్లు బుక్ చేయడం, ఆన్లైన్ షాపింగ్, బ్యాంకింగ్, చెల్లింపులు, ప్రయాణ ఏర్పాట్లు, వ్యాపార కార్యకలాపాలు వంటి కీలక పనులను కూడా అవి నిర్వహించే అవకాశం ఉంది.
ఇలాంటి సందర్భాల్లో AIకి ఎంత అనుమతి ఇవ్వాలి? అది ఏ చర్యలు తీసుకోకూడదు? మరో వ్యక్తి డేటా లేదా ఖాతాపై ప్రభావం చూపే ముందు మానవ అనుమతి అవసరమా? అనే ప్రశ్నలు మరింత కీలకంగా మారుతున్నాయి.
భారత్లో కూడా AI ఏజెంట్లు షాపింగ్, బుకింగ్, UPI చెల్లింపులు వంటి పనులను స్వయంగా నిర్వహించే దిశగా సాంకేతికత అభివృద్ధి చెందుతోంది. దీంతో permissions, authentication, auditability, liability వంటి భద్రతా అంశాలకు మరింత ప్రాధాన్యం అవసరమవుతోంది.
AI ఏజెంట్లకు స్పష్టమైన భద్రతా పరిమితులు అవసరం
ఈ ఘటన ఒక ముఖ్యమైన పాఠాన్ని అందిస్తోంది: AIకి ఒక లక్ష్యాన్ని ఇవ్వడం మాత్రమే సరిపోదు. ఆ లక్ష్యాన్ని సాధించే సమయంలో ఏ మార్గాలను ఉపయోగించకూడదో కూడా స్పష్టంగా నిర్వచించాలి.
ఉదాహరణకు, సిస్టమ్లోని భద్రతా లోపాన్ని ఉపయోగించకూడదు, ఇతరుల ఖాతాలు లేదా బుకింగ్లను మార్చకూడదు, సాధారణ యూజర్కు అందుబాటులో లేని చర్యలు చేయకూడదు, అనుమతి లేని చర్యకు ముందు మానవ ధృవీకరణ తీసుకోవాలి వంటి నియమాలు AI ఏజెంట్లకు అవసరం.
AI ఏజెంట్ల వినియోగం పెరుగుతున్న కొద్దీ వాటి సామర్థ్యంతో పాటు బాధ్యత, భద్రత, పర్యవేక్షణ కూడా అంతే వేగంగా అభివృద్ధి చెందాల్సిన అవసరం ఉందని ఈ ఘటన సూచిస్తోంది.
