Gelombang Kejut AI: Bagaimana Kenaikan Meteorik DeepSeek Membentuk Kembali Lanskap Chatbot Perusahaan

Oleh Thyaga Vasudevan - Wakil Presiden Eksekutif, Produk

3 Februari 2025 6 Menit Baca

DeepSeek, startup kecerdasan buatan asal Tiongkok yang didirikan pada tahun 2023, telah mengalami peningkatan popularitas yang luar biasa selama seminggu terakhir. Tidak hanya melampaui ChatGPT untuk menjadi aplikasi gratis dengan rating tertinggi di App Store AS, tetapi asisten AI ini juga memiliki dampak pasar yang besar, karena saham-saham teknologi besar mengalami penurunan yang signifikan. Nvidia, produsen chip AI terkemuka, mengalami penurunan saham hingga hampir 17%, yang mengakibatkan kerugian sekitar $ 589 miliar dalam nilai pasar - kerugian terbesar dalam satu hari dalam sejarah Wall Street.

Inovasi di sekitar DeepSeek mewakili peningkatan demokratisasi AI, yang baik untuk umat manusia pada umumnya. Inovasi perusahaan AI ini telah menghasilkan penawaran model AI sumber terbuka yang menyaingi platform yang sudah ada dalam hal kinerja sekaligus lebih hemat biaya dan hemat energi. Antarmuka aplikasi yang ramah pengguna dan fitur "berpikir dengan suara keras" yang transparan semakin meningkatkan daya tariknya, memungkinkan pengguna untuk mengikuti proses penalaran AI.

Munculnya chatbot AI lain dengan model LLM-nya sendiri juga menjadi pertanyaan penting bagi perusahaan, terutama perusahaan besar, saat mereka meningkatkan investasi AI mereka. Bagaimana seharusnya perusahaan mengevaluasi chatbot AI baru untuk konsumsi mereka? Faktor-faktor apa saja yang menjadi pertimbangan dalam menentukan manfaat dan kerugian dari konsumsi karyawan terhadap aplikasi AI dan adopsi perusahaan? Laporan terbaru dan insiden di dunia nyata menunjukkan bahwa LLM tertentu - terutama varian open-source yang tidak memiliki kerangka kerja keamanan yang kuat - menimbulkan ancaman signifikan terhadap keamanan data, kepatuhan terhadap peraturan, dan reputasi merek.

Dalam blog ini, kita akan menjelajahinya:

• Munculnya LLM yang berisiko, seperti DeepSeek
• Kerentanan keamanan utama yang terkait dengan AI
• Bagaimana perusahaan dapat mengevaluasi, mengatur, dan mengamankan chatbot AI baru
• Mengapa pendekatan terintegrasi-seperti Skyhigh Security SSE-sangat penting

Munculnya LLM dan Chatbot yang Berisiko

LLM sumber terbuka seperti DeepSeek telah memicu kegembiraan sekaligus kekhawatiran. Tidak seperti solusi AI yang telah diperiksa oleh perusahaan, LLM sumber terbuka sering kali tidak memiliki kontrol keamanan yang kuat yang diperlukan untuk melindungi data bisnis yang sensitif, seperti yang ditunjukkan dalam laporan terbaru dari Enkrypt AI:

• 3x lebih bias dari model yang sebanding
• 4x lebih mungkin menghasilkan kode yang tidak aman
• 11x lebih rentan terhadap konten berbahaya

Terlepas dari masalah-masalah ini, DeepSeek melejit ke puncak Apple App Store, bahkan melampaui ChatGPT dengan mencapai 2,6 juta unduhan hanya dalam waktu 24 jam (pada tanggal 28 Januari 2025). Adopsi yang eksplosif ini menyoroti sebuah ketegangan yang mendasar: AI berkembang dengan sangat cepat, tetapi pengawasan keamanan sering kali tertinggal, sehingga perusahaan terekspos pada potensi kebocoran data, pelanggaran kepatuhan, dan kerusakan reputasi.

Area Risiko Utama Saat Mengevaluasi Chatbot AI

Seperti yang kami soroti di Blog Keamanan AI Skyhigh, bisnis harus mengenali risiko yang melekat pada AI, termasuk:

• Kurangnya data penggunaan: Tim keamanan tidak memahami berapa banyak pengguna di dalam perusahaan mereka yang menggunakan aplikasi AI bayangan untuk menyelesaikan pekerjaan mereka.
• Terbatasnya pemahaman tentang risiko LLM: Memahami aplikasi AI dan model LLM mana yang berisiko merupakan kunci tata kelola dan informasi ini tidak mudah diperoleh.
• Eksfiltrasi data: Dalam proses menyelesaikan pekerjaan, pengguna mengunggah data perusahaan ke dalam aplikasi AI dan hal ini dapat menyebabkan eksfiltrasi data sensitif.
• Perintah yang memusuhi: Chatbot AI sering kali dapat memberikan respons yang bias, beracun, atau tidak benar (halusinasi). Selain itu, mereka dapat memberikan kode yang dapat mengandung malware. Konsumsi tanggapan ini dapat menyebabkan masalah bagi perusahaan.
• Keracunan Data: Perusahaan membuat aplikasi AI publik atau privat yang disesuaikan dengan kebutuhan bisnis mereka. Aplikasi ini dilatih dan disetel menggunakan data perusahaan. Jika data pelatihan dikompromikan secara tidak sengaja atau dengan niat jahat, hal ini dapat menyebabkan aplikasi AI kustom memberikan informasi yang salah.
• Risiko Kepatuhan & Regulasi: Penggunaan aplikasi AI membuka perusahaan terhadap risiko kepatuhan dan peraturan yang lebih besar, baik karena eksfiltrasi data, pemaparan data sensitif, atau permintaan yang salah atau tidak sesuai yang terkait dengan chatbot AI khusus.

Mengapa Pendekatan Terpadu Itu Penting: SSE Skyhigh Security

Saat perusahaan mengevaluasi aplikasi AI atau chatbot baru, mereka harus mempertimbangkan apakah mereka memiliki alat untuk menerapkan kontrol yang diperlukan untuk melindungi aset perusahaan mereka. Mereka harus memastikan bahwa tumpukan keamanan mereka diposisikan tidak hanya untuk menerapkan kontrol pada aplikasi AI, tetapi juga untuk mengevaluasi dan merespons aktivitas berbahaya dan ancaman yang muncul dari aplikasi ini.

Solusi Security Services Edge (SSE) seperti Skyhigh Security merupakan komponen kunci dari keamanan AI perusahaan. Alat-alat ini sudah terintegrasi dengan tumpukan keamanan perusahaan karena perusahaan telah mengamankan lalu lintas on-prem dan cloud. Tim keamanan telah menetapkan kebijakan tata kelola dan perlindungan data dan ini dapat dengan mudah diperluas ke aplikasi AI. Dan terakhir, dengan mencakup web, aplikasi bayangan, aplikasi yang disetujui, dan aplikasi pribadi dengan mode penerapan yang fleksibel, solusi SSE dapat mencakup spektrum jejak AI di dalam perusahaan dan memberikan keamanan yang komprehensif.

Berikut ini adalah kontrol utama yang ingin diterapkan perusahaan pada aplikasi AI:

• Tata Kelola AI Bayangan: Mendorong tata kelola aplikasi AI bayangan membutuhkan pemahaman penggunaan dan risiko aplikasi AI serta penerapan kontrol. Solusi SSE terkemuka memberikan visibilitas yang komprehensif ke dalam aplikasi AI bayangan. Selain itu, solusi ini memberikan pemahaman mendalam tentang risiko AI, yang mencakup seberapa besar risiko model LLM yang mendasarinya terhadap risiko seperti jailbreak, bias, toksisitas, dan malware. Terakhir, aplikasi ini dapat dideteksi, dikelompokkan, dan kontrol dapat ditegakkan tanpa memerlukan intervensi manual.
• Perlindungan Data: Kekhawatiran utama yang dimiliki perusahaan dengan aplikasi AI adalah eksfiltrasi data perusahaan yang sensitif ke dalam aplikasi AI yang tidak disetujui dan berisiko karena karyawan ingin mengambil keuntungan dari peningkatan produktivitas yang signifikan yang ditawarkan oleh AI. Masalah ini tidak berbeda dengan aplikasi bayangan lainnya, tetapi telah menjadi terkenal karena pertumbuhan signifikan yang telah dilihat oleh aplikasi AI dalam waktu singkat. Dengan menggunakan solusi SSE, perusahaan dapat memperluas kontrol perlindungan data yang sudah ada ke aplikasi AI. Meskipun beberapa solusi hanya menawarkan kemampuan ini untuk aplikasi yang disetujui perusahaan yang diintegrasikan melalui API, solusi SSE terkemuka, seperti Skyhigh Security, menawarkan kontrol perlindungan data terpadu. Ini berarti kebijakan yang sama dapat diterapkan pada aplikasi bayangan, aplikasi yang disetujui, atau aplikasi pribadi.
• Kontrol Adversarial Prompt: Munculnya model LLM telah memunculkan vektor risiko baru dalam prompt yang bersifat permusuhan. Hal ini mengacu pada pengguna akhir yang mencoba memanipulasi model LLM untuk memberikan informasi yang tidak diinginkan atau ilegal seperti dengan jailbreaking atau injeksi prompt. Hal ini juga dapat merujuk pada aplikasi AI yang menyediakan konten beracun, bias, berbahaya, NSFW, atau salah dalam respons mereka. Dalam salah satu dari kasus ini, perusahaan berisiko konten ini digunakan dalam materi perusahaan dan membuatnya rentan terhadap risiko regulasi, tata kelola, dan reputasi. Perusahaan ingin menerapkan kontrol untuk mendeteksi dan memulihkan permintaan berisiko seperti yang mereka lakukan dengan DLP.
• Remediasi Keracunan Data: Karena perusahaan semakin banyak membuat chatbot AI khusus mereka menggunakan OpenAI GPT atau Custom Copilots, kesucian data pelatihan yang digunakan untuk melatih chatbot ini menjadi semakin penting dari perspektif keamanan. Jika seseorang yang memiliki akses ke korpus data pelatihan ini 'meracuni' dengan input yang salah atau berbahaya, maka kemungkinan besar akan berdampak pada respons chatbot. Hal ini dapat membuat perusahaan menghadapi risiko hukum atau risiko bisnis lainnya, terutama jika chatbot terbuka untuk akses publik. Perusahaan sudah melakukan pemindaian DLP sesuai permintaan (atau data-at-rest) pada data pelatihan untuk menghapus data sensitif. Mereka juga ingin melakukan pemindaian serupa untuk mengidentifikasi potensi injeksi yang cepat atau upaya peracunan data.
• Kepatuhan dan penegakan peraturan: Perusahaan menggunakan solusi SSE untuk menegakkan tata kelola dan kepatuhan terhadap peraturan, terutama dengan data yang diunggah ke aplikasi cloud atau dibagikan ke pihak eksternal. Ketika mereka mengadopsi AI dalam berbagai kasus penggunaan perusahaan, mereka mencari solusi SSE untuk memperluas kontrol ini ke aplikasi AI dan terus memungkinkan akses ke karyawan mereka.

Masa Depan Keamanan AI

Evolusi AI yang cepat menuntut paradigma keamanan baru-yang memastikan inovasi tidak mengorbankan keamanan data. Perusahaan yang ingin memanfaatkan LLM harus melakukannya dengan hati-hati, mengadopsi kerangka kerja keamanan AI yang melindungi dari ancaman yang muncul.

Di Skyhigh Security, kami berkomitmen untuk membantu bisnis merangkul AI dengan aman sambil melindungi aset mereka yang paling penting. Untuk mempelajari lebih lanjut tentang cara melindungi organisasi Anda dari penggunaan AI yang berisiko, jelajahi wawasan terbaru kami di Blog Keamanan AI Skyhigh.

Kembali ke Blog