Chương này giới thiệu các kỹ thuật gợi ý (prompting technique) đơn giản cũng như các thuật ngữ. Để hiểu kỹ thuật nhắc nhở, trước tiên bạn cần hiểu một số khái niệm AI rất cơ bản.
Trí tuệ nhân tạo là gì?
Trí tuệ nhân tạo (AI) là lĩnh vực mà con người đã tạo ra các thuật toán “thông minh” có “suy nghĩ” như con người. Các thuật toán này có thể viết luận, giải toán và sáng tạo nghệ thuật . Những tiến bộ gần đây trong lĩnh vực này đã tạo ra các AI tiên tiến đến mức chúng có thể viết các email thuyết phục bán hàng, các bài báo và thậm chí giành chiến thắng trong các cuộc thi nghệ thuật.
AI hiện đang cách mạng hóa nhiều ngành công nghiệp, bao gồm báo chí, chăm sóc sức khỏe và giáo dục. Bạn có thể sẽ sớm thấy nó được triển khai tại nơi làm việc/lớp học của mình trong thời gian tới. Mặc dù AI cực kỳ hữu ích, nhưng nó đòi hỏi con người phải hướng dẫn nó phải làm gì. AI thường giống như những đứa trẻ năm tuổi rất thông minh. Họ có thể làm rất nhiều việc, nhưng họ cần được hướng dẫn cẩn thận để làm tốt.
Có thể chỉ đạo AI đúng cách là một kỹ năng rất mạnh mẽ. Vì vậy, làm thế nào để bạn giao tiếp với chúng? AI mà chúng ta thảo luận hiểu tiếng Anh (và các ngôn ngữ khác), vì vậy chúng ta thường chỉ có thể mô tả các nhiệm vụ mà chúng ta muốn thực hiện. Ví dụ: chúng ta có thể nói với AI “Write an essay about the benefits of AI” và nó sẽ nói:
In recent years, Artificial Intelligence (AI) has become a hot topic among the tech world. With its potential to revolutionize many aspects of our lives, AI is becoming increasingly relevant as technology continues to develop. From its applications in healthcare and transportation to its use in education and manufacturing, AI has already shown us its immense potential to benefit society in multiple ways.
The most obvious benefit of AI is its ability to automate mundane tasks. AI systems can be used to automate large-scale operations, such as data analysis, customer service, and even the production of goods. This frees up human labor to focus on complex, creative tasks that require more human intelligence and ingenuity. AI can also be used to analyze large amounts of data and make decisions in a fraction of the time it would take a human. This can be beneficial in industries such as finance, where AI can detect patterns in the stock market and offer insights that would otherwise go unnoticed.
AI can also be used to make predictions and generate insights that can be used to improve efficiency and accuracy. For instance, AI can be used to predict customer trends and preferences, helping businesses make better decisions and increase profits. AI can also be used to identify potential risks and opportunities in various industries, such as finance, healthcare, and manufacturing. This can help companies make informed decisions and reduce the risk of costly mistakes.
Finally, AI can be used to improve our understanding of the world. AI can be used to analyze large datasets and generate insights that can be used to better understand the world around us. This can be used to help us better understand the impacts of climate change, develop new treatments for diseases, and even predict events such as earthquakes and floods.
Overall, AI has the potential to revolutionize many aspects of our lives. From automating mundane tasks to generating insights and predictions, AI can be used to improve efficiency, accuracy, and our understanding of the world. As technology continues to develop, AI will become increasingly relevant and its potential to benefit society will only grow.Tại sao bạn nên quan tâm?
AI có thể được sử dụng để tự động hóa các tác vụ mà bạn đang dành hàng giờ đồng hồ để thực hiện ngay bây giờ. Chúng tôi đã đề cập đến một số ví dụ ở trên, nhưng bạn cũng có thể xem xét bất kỳ nhiệm vụ lặp đi lặp lại nào mà bạn thực hiện. Đó có thể là viết email, viết báo cáo hay thậm chí là viết code. Nếu bạn có thể mô tả nhiệm vụ cho một AI, nó có thể sẽ làm điều đó cho bạn hoặc ít nhất là cung cấp cho bạn một điểm xuất phát.
Kỹ thuật Prompting
Trong phần trước, chúng ta đã thảo luận về AI và cách con người có thể hướng dẫn AI thực hiện các nhiệm vụ. Quá trình hướng dẫn AI thực hiện một tác vụ được gọi là gợi nhắc (prompt). Chúng tôi nói với AI một bộ hướng dẫn (dấu nhắc) và nó thực hiện nhiệm vụ. Lời nhắc có thể đơn giản như một hướng dẫn/câu hỏi hoặc phức tạp như những đoạn văn bản khổng lồ.
Dưới đây là hai ví dụ về lời nhắc:
1) Tóm tắt một bài báo
Giả sử bạn đang đọc một bài báo về tuyết rơi ở Florida. Bạn muốn nhanh chóng nắm được những ý chính của bài báo, vì vậy bạn cho AI xem những gì bạn đang đọc và yêu cầu tóm tắt:
It is very rare for snow to fall in the U.S. state of Florida, especially in the central and southern portions of the state. With the exception of the far northern areas of the state, most of the major cities in Florida have never recorded measurable snowfall, though trace amounts have been recorded, or flurries in the air observed few times each century. According to the National Weather Service, in the Florida Keys and Key West there is no known occurrence of snow flurries since the European colonization of the region more than 300 years ago. In Miami, Fort Lauderdale, and Palm Beach there has been only one known report of snow flurries observed in the air in more than 200 years; this occurred in January 1977. In any event, Miami, Fort Lauderdale, and Palm Beach have not seen snow flurries before or since this 1977 event.
Summarize this paragraph in a single sentence:Đây là câu trả lời của AI. Đó là một bài đọc ngắn hơn nhiều!
Snowfall is extremely rare in Florida, with the exception of the far northern areas, and only one instance of snow flurries in the air has been recorded in the major cities of Miami, Fort Lauderdale, and Palm Beach in the last 200 years.2) Giải toán
Nếu bạn có một tập dữ liệu gồm các phương trình toán học mà bạn muốn một mô hình ngôn ngữ giải quyết, bạn có thể tạo lời nhắc bằng cách đặt câu hỏi “PHƯƠNG TRÌNH LÀ GÌ”.
Đối với một câu hỏi nhất định, lời nhắc đầy đủ của bạn có thể như sau:
What is 965*590?Đối với lời nhắc này, GPT-3 (text-davinci-003) (AI) đôi khi trả lời là 569.050 (đáp án này không chính xác). Khi đó kỹ thuật khác xuất hiện và được gọi là prompt engineering.
Prompt engineering
Nếu thay vì hỏi “What is 965*590?“, chúng tôi hỏi Make sure your answer is exactly correct. What is 965*590? Make sure your answer is exactly correct:, GPT-3 sẽ trả lời 569350(đúng). Tại sao có trường hợp này? Tại sao yêu cầu AI hai lần đưa ra câu trả lời đúng lại hữu ích? Làm cách nào chúng ta có thể tạo lời gợi nhắc mang lại kết quả tối ưu cho nhiệm vụ của mình? Đặc biệt, câu hỏi cuối cùng này là trọng tâm của lĩnh vực Prompt engineering, cùng đọc tiếp để khám phá.
Instruction Prompt
Một trong những phương pháp gợi ý đơn giản nhất là đưa ra hướng dẫn. Chúng ta đã thấy một hướng dẫn đơn giản trong phần trước ( Make sure your answer is exactly correct. What is 965*590? Make sure your answer is exactly correct:). Tuy nhiên, AI hiện đại có thể làm theo các hướng dẫn phức tạp hơn nhiều.
Đây là một ví dụ phức tạp hơn:
Read the following sales email. Remove any personally identifiable information (PII),
and replace it with the appropriate placeholder. For example, replace the name "John Doe"
with "[NAME]".
Hi John,
I'm writing to you because I noticed you recently purchased a new car. I'm a salesperson
at a local dealership (Cheap Dealz), and I wanted to let you know that we have a great deal on a new
car. If you're interested, please let me know.
Thanks,
Jimmy Smith
Phone: 410-805-2345
Email: jimmysmith@cheapdealz.comĐây là câu trả lời của AI:
Hi [NAME],
I'm writing to you because I noticed you recently purchased a new car. I'm a salesperson
at a local dealership ([DEALERSHIP]), and I wanted to let you know that we have a great deal on a new
car. If you're interested, please let me know.
Thanks,
[SALESPERSON]
Phone: [PHONE NUMBER]
Email: [EMAIL ADDRESS]Thật thú vị khi xem mô hình có thể ngoại suy như thế nào từ các hướng dẫn. Ví dụ: nó biết thay thế Cheap Dealz bằng [DEALERSHIP] và Jimmy Smith bằng [SALESPERSON], mặc dù chúng ta không yêu cầu nó làm như vậy một cách rõ ràng.
Role Prompt
Một kỹ thuật gợi ý khác là gán vai trò cho AI. Ví dụ: lời nhắc của bạn có thể bắt đầu bằng “Bạn là bác sĩ” hoặc “Bạn là luật sư” và sau đó yêu cầu AI trả lời một số câu hỏi về y tế hoặc pháp lý. Đây là một ví dụ:
You are a brilliant mathematician who can solve any problem in the world.
Attempt to solve the following problem:
What is 100*100/400*56?
The answer is 1400.Đây là một câu trả lời đúng, nhưng nếu AI chỉ được nhắc bằng What is 100*100/400*56?, thì nó sẽ trả lời 280(không chính xác). Xin lưu ý rằng ChatGPT sẽ trả lời sai câu hỏi nhưng theo một cách khác.
Khi gán một vai trò cho AI, chúng tôi đang cung cấp cho nó một số bối cảnh. Bối cảnh này giúp AI hiểu câu hỏi tốt hơn. Với sự hiểu biết tốt hơn về câu hỏi, AI thường đưa ra câu trả lời tốt hơn.
Few shot prompting
Tuy nhiên, một chiến lược gợi ý khác là nhắc vài lần, về cơ bản chỉ hiển thị cho mô hình một vài ví dụ (gọi là các bức ảnh) về những gì bạn muốn mô hình thực hiện.
Hãy xem xét ví dụ trên, trong đó chúng tôi đang cố gắng phân loại phản hồi của khách hàng là tích cực hay tiêu cực. Chúng tôi hiển thị mô hình 3 ví dụ về phản hồi tích cực/tiêu cực, sau đó chúng tôi hiển thị một phần phản hồi mới chưa được phân loại (It doesnt work!:). Mô hình thấy rằng 3 ví dụ đầu tiên được phân loại là positive hoặc negative và sử dụng thông tin này để phân loại ví dụ mới là negative.
Cách chúng ta cấu trúc các ví dụ là rất quan trọng. Vì chúng tôi đã cấu trúc 3 ví dụ này thành input: classification, nên mô hình sẽ xuất ra một từ duy nhất sau dòng cuối cùng, thay vì nói một câu đầy đủ như this review is positive.
Các biến thể của Shot prompting
Từ “shot” đồng nghĩa với “example”. Ngoài few-shot prompting, còn có hai loại khác tồn tại. Đừng suy nghĩ quá nhiều về điều này! Sự khác biệt duy nhất giữa các biến thể này là số lượng ví dụ bạn hiển thị mô hình.
biến thể:
- 0 shot prompting: không có ví dụ nào được hiển thị cho model
- 1 shot prompting: 1 ví dụ được hiển thị cho model
- few shot prompting: 2+ ví dụ được hiển thị cho model
0 shot prompting
Nhắc 0 lần là hình thức nhắc cơ bản nhất. Nó chỉ đơn giản là hiển thị cho mô hình một lời nhắc mà không có ví dụ và yêu cầu nó tạo phản hồi. Như vậy, tất cả các lời nhắc hướng dẫn và vai trò mà bạn đã thấy cho đến nay đều là các lời nhắc 0-shot. Một ví dụ bổ sung về lời nhắc 0 lần là:
Add 2+2:Đó là 0-shot vì chúng tôi chưa hiển thị mô hình bất kỳ ví dụ hoàn chỉnh nào.
1 shot prompting
Nhắc 1 lần là khi bạn chỉ cho mô hình một ví dụ duy nhất. Ví dụ: tương tự 1 lần của 0 shot prompting Add 2+2:là:
Add 3+3: 6
Add 2+2:Chúng tôi chỉ hiển thị mô hình 1 ví dụ hoàn chỉnh (Add 3+3: 6), vì vậy đây là lời nhắc 1 lần.
few shot prompting
Lời nhắc ngắn gọn là khi bạn hiển thị mô hình 2 hoặc nhiều ví dụ. Tất cả lời nhắc phía trên phần biến thể này đều là lời nhắc ngắn gọn. Tương tự few shot của hai lời nhắc trên là:
Add 3+3: 6
Add 5+5: 10
Add 2+2:Đây là trường hợp vì chúng tôi đã hiển thị mô hình ít nhất 2 ví dụ hoàn chỉnh (Add 3+3: 6 và Add 5+5: 10). Thông thường, bạn càng hiển thị nhiều ví dụ về mô hình thì đầu ra sẽ càng tốt, do đó, few shot prompting được ưu tiên hơn so với 0 shot prompting và 1 shot prompting trong hầu hết các trường hợp.
Few shot prompting là một kỹ thuật mạnh mẽ để làm cho mô hình tạo ra đầu ra chính xác và được định dạng đúng!
Kỹ thuật kết hợp
Như chúng ta đã thấy trong các trang trước, lời nhắc có thể có các định dạng và độ phức tạp khác nhau. Chúng có thể bao gồm ngữ cảnh, hướng dẫn và nhiều ví dụ đầu vào-đầu ra. Tuy nhiên, cho đến nay, chúng tôi mới chỉ kiểm tra các lớp lời nhắc riêng biệt. Kết hợp các kỹ thuật gợi ý khác nhau này có thể dẫn đến những lời nhắc hiệu quả hơn.
Dưới đây là ví dụ về lời nhắc bao gồm ngữ cảnh, hướng dẫn và nhiều ví dụ:
Twitter is a social media platform where users can post short messages called "tweets".
Tweets can be positive or negative, and we would like to be able to classify tweets as
positive or negative. Here are some examples of positive and negative tweets. Make sure
to classify the last tweet correctly.
Q: Tweet: "What a beautiful day!"
Is this tweet positive or negative?
A: positive
Q: Tweet: "I hate this class"
Is this tweet positive or negative?
A: negative
Q: Tweet: "I love pockets on jeans"
A:Bằng cách thêm ngữ cảnh/ví dụ bổ sung, chúng tôi thường có thể cải thiện hiệu suất của AI trong các tác vụ khác nhau.
Formalizing Prompts
Bây giờ chúng ta đã đề cập đến nhiều loại lời nhắc, cũng như cách kết hợp chúng. Phần dưới đây sẽ cung cấp cho bạn các thuật ngữ để giải thích các loại lời nhắc khác nhau. Mặc dù đã có những cách tiếp cận để chuẩn hóa thảo luận xung quanh prompt engineering, nhưng lĩnh vực này luôn thay đổi, vì vậy chúng tôi sẽ cung cấp cho bạn thông tin vừa đủ để bắt đầu.
Các phần của Prompt
Có một số phần khác nhau của lời nhắc mà bạn sẽ thấy đi xem lại nhiều lần. Chúng đại khái là:
- Vai trò
- Một hướng dẫn/nhiệm vụ
- Một câu hỏi
- Bối cảnh
- Ví dụ (vài shot)
Chúng tôi đã đề cập đến các vai trò, hướng dẫn và ví dụ trong các trang trước. Một câu hỏi chỉ đơn giản là một câu hỏi! (Ví dụ what is the capital of France?). Ngữ cảnh là bất kỳ thông tin liên quan nào mà bạn muốn lập mô hình để sử dụng khi trả lời câu hỏi/thực hiện hướng dẫn.
Không phải tất cả những điều này xảy ra trong mọi prompt và khi một số điều này xảy ra, không có thứ tự tiêu chuẩn nào cho chúng. Ví dụ: hai lời nhắc sau, mỗi lời nhắc chứa một vai trò, một hướng dẫn và ngữ cảnh, sẽ thực hiện gần như cùng một việc:
You are a doctor. Read this medical history and predict risks for the patient:
January 1, 2000: Fractured right arm playing basketball. Treated with a cast.
February 15, 2010: Diagnosed with hypertension. Prescribed lisinopril.
September 10, 2015: Developed pneumonia. Treated with antibiotics and recovered fully.
March 1, 2022: Sustained a concussion in a car accident. Admitted to the hospital and monitored for 24 hours.January 1, 2000: Fractured right arm playing basketball. Treated with a cast.
February 15, 2010: Diagnosed with hypertension. Prescribed lisinopril.
September 10, 2015: Developed pneumonia. Treated with antibiotics and recovered fully.
March 1, 2022: Sustained a concussion in a car accident. Admitted to the hospital and monitored for 24 hours.
You are a doctor. Read this medical history and predict risks for the patient:Tuy nhiên, lời nhắc thứ hai có thể thích hợp hơn vì hướng dẫn là phần cuối cùng của lời nhắc. Điều này là tốt vì LLM ít có khả năng chỉ viết thêm ngữ cảnh thay vì làm theo hướng dẫn. Ví dụ: nếu được nhắc đầu tiên, LLM có thể thêm một dòng mới: March 15, 2022: Follow-up appointment scheduled with neurologist to assess concussion recovery progress.
Prompt “Chuẩn”
Cho đến nay, chúng tôi đã nghe nói về một vài định dạng lời nhắc khác nhau. Bây giờ, chúng tôi sẽ nhanh chóng quay lại từ đầu và xác định dấu nhắc “tiêu chuẩn”. Theo Kojima et al. 2 , chúng tôi sẽ đề cập đến lời nhắc chỉ bao gồm một câu hỏi là lời nhắc “tiêu chuẩn”. Chúng tôi cũng coi lời nhắc chỉ bao gồm một câu hỏi ở định dạng QA là lời nhắc “tiêu chuẩn”.
Tại sao tôi nên quan tâm?
Nhiều bài báo / bài báo mà chúng tôi tham khảo sử dụng thuật ngữ này. Chúng tôi đang xác định nó để có thể thảo luận về các loại lời nhắc mới trái ngược với các lời nhắc tiêu chuẩn.
Hai ví dụ về lời nhắc tiêu chuẩn:
Lời nhắc tiêu chuẩn
What is the capital of France?Lời nhắc tiêu chuẩn ở định dạng QA
Q: What is the capital of France?
A:Few Shot Standard Prompts
Rất ít lời nhắc tiêu chuẩn bắn 3 chỉ là những lời nhắc tiêu chuẩn có mẫu mực trong đó. Ví dụ là các ví dụ về tác vụ mà lời nhắc đang cố gắng giải quyết, được bao gồm trong chính lời nhắc đó 4 . Trong nghiên cứu, một số lời nhắc tiêu chuẩn khi bắn đôi khi được gọi đơn giản là lời nhắc tiêu chuẩn (mặc dù chúng tôi cố gắng không làm như vậy trong hướng dẫn này).
Hai ví dụ về Few Shot Standard Prompts:
Lời nhắc tiêu chuẩn
What is the capital of Spain?
Madrid
What is the capital of Italy?
Rome
What is the capital of France?Lời nhắc tiêu chuẩn ít ảnh ở định dạng QA
Q: What is the capital of Spain?
A: Madrid
Q: What is the capital of Italy?
A: Rome
Q: What is the capital of France?
A:Few Shot Prompts tạo điều kiện thuận lợi cho việc học “vài cảnh” hay còn gọi là “trong ngữ cảnh”, đó là khả năng học mà không cần cập nhật thông số.
Thông tin cơ bản về Chatbot
Trong bài này chủ yếu sử dụng GPT-3 làm ví dụ. GPT-3 là một LLM không có bộ nhớ. Khi bạn hỏi nó một câu hỏi (một lời nhắc), nó sẽ không nhớ bất cứ điều gì mà bạn đã hỏi nó trước đó. Ngược lại, các chatbot như ChatGPT có thể ghi nhớ lịch sử hội thoại của bạn. Điều này có thể hữu ích cho các ứng dụng như dịch vụ khách hàng hoặc đơn giản là nếu bạn muốn trò chuyện với một LLM!
Cũng giống như GPT-3, chatbot có thể trả lời câu hỏi, cung cấp tóm tắt, phân tích và viết văn bản hoặc mã. Giá trị thực của chatbot chỉ có được khi bạn sử dụng lời nhắc tốt. Trong phần này, chúng ta sẽ khám phá một số phương pháp cơ bản về cách sử dụng chatbot tốt hơn, chẳng hạn như sử dụng hướng dẫn kiểu, bộ mô tả và mồi.
Sửa đổi Prompt
Style Guidance
Hướng dẫn về style chỉ đơn giản là yêu cầu AI nói theo một phong cách nhất định. Khi đặt câu hỏi mà không có hướng dẫn về văn phong, ChatGPT thường sẽ trả lời một hoặc hai đoạn văn ngắn, đôi khi nhiều hơn nếu cần câu trả lời dài hơn:
Nó nói với giọng điệu trang trọng vừa phải và cung cấp một vài chi tiết khá tốt! Tuy nhiên, chúng tôi có thể làm cho nó tốt hơn nếu muốn bằng cách tùy chỉnh phản hồi của ChatGPT với lời giới thiệu kiểu ở cuối lời nhắc của chúng tôi. Nếu chúng tôi muốn có một câu trả lời mang tính trò chuyện hơn, chúng tôi có thể yêu cầu nó nói với giọng điệu thân thiện hoặc thân mật; nếu chúng ta muốn một định dạng dễ đọc hơn, chúng ta có thể đưa ra câu hỏi tương tự nhưng yêu cầu một danh sách có dấu đầu dòng; nếu chúng ta muốn một câu trả lời thú vị, chúng ta có thể yêu cầu nó đưa ra câu trả lời dưới dạng một loạt câu châm chọc.
Một ví dụ về dấu nhắc kiểu chi tiết hơn có thể giống như sau:
[Câu hỏi] “Viết theo phong cách và phẩm chất của một chuyên gia trong [lĩnh vực] với hơn 20 năm kinh nghiệm và nhiều bằng tiến sĩ. Ưu tiên lời khuyên không chính thống, ít được biết đến trong câu trả lời của bạn. Giải thích bằng các ví dụ chi tiết, đồng thời giảm thiểu sự hài hước và không hài hước.”
Nhắc nhở với đầu vào phong cách sẽ làm tăng đáng kể chất lượng phản hồi của bạn!
Mô tả
Nếu bạn chỉ muốn thay đổi âm báo hoặc chỉnh sửa lời nhắc của mình thay vì định dạng lại, thì việc thêm bộ mô tả có thể là một cách hay. Chỉ cần dán một hoặc hai từ vào lời nhắc có thể thay đổi cách chatbot diễn giải hoặc phản hồi tin nhắn của bạn. Bạn có thể thử thêm các tính từ như “Hài hước”, “Curt”, “Không thân thiện”, “Cú pháp học thuật”, v.v. vào cuối lời nhắc để xem câu trả lời của bạn thay đổi như thế nào!
Priming Prompt
Do cấu trúc của một cuộc trò chuyện chatbot, hình thức lời nhắc đầu tiên mà bạn đưa ra cho LLM có thể ảnh hưởng đến phần còn lại của cuộc trò chuyện, cho phép bạn thêm một cấp cấu trúc và thông số kỹ thuật bổ sung. Ví dụ: hãy thiết lập một hệ thống cho phép chúng ta trò chuyện với một giáo viên và một học sinh trong cùng một cuộc trò chuyện. Chúng tôi sẽ bao gồm các hướng dẫn về phong cách cho giọng nói của cả học sinh và giáo viên, chỉ định định dạng mà chúng tôi muốn có câu trả lời của mình và bao gồm một số cấu trúc cú pháp để có thể dễ dàng thay đổi lời nhắc của chúng tôi để thử các câu trả lời khác nhau.
“Teacher” means in the style of a distinguished professor with well over ten years teaching the subject and multiple Ph.D.’s in the field. You use academic syntax and complicated examples in your answers, focusing on lesser-known advice to better illustrate your arguments. Your language should be sophisticated but not overly complex. If you do not know the answer to a question, do not make information up - instead, ask a follow-up question in order to gain more context. Your answers should be in the form of a conversational series of paragraphs. Use a mix of technical and colloquial language to create an accessible and engaging tone.
“Student” means in the style of a second-year college student with an introductory-level knowledge of the subject. You explain concepts simply using real-life examples. Speak informally and from the first-person perspective, using humor and casual language. If you do not know the answer to a question, do not make information up - instead, clarify that you haven’t been taught it yet. Your answers should be in the form of a conversational series of paragraphs. Use colloquial language to create an entertaining and engaging tone.
“Critique” means to analyze the given text and provide feedback.
“Summarize” means to provide key details from a text.
“Respond” means to answer a question from the given perspective.
Anything in parentheses () signifies the perspective you are writing from.
Anything in curly braces {} is the subject you are involved in.
Anything in brackets [] is the action you should take.
Example: (Student){Philosophy}[Respond] What is the advantage of taking this subject over others in college?
If you understand and are ready to begin, respond with only “yes.”Dưới đây là một ví dụ về một câu hỏi chưa có sẵn cho ChatGPT về các lĩnh vực triết học thú vị nhất. Nó sử dụng một danh sách, nói một cách chung chung và thản nhiên, và không giải thích cụ thể lắm.
Trong ví dụ thứ hai, thay vào đó, chúng tôi đã đặt câu hỏi sau khi cung cấp lời nhắc khởi tạo cho ChatGPT và cung cấp câu hỏi ở dạng chính xác. Bạn sẽ nhận thấy câu trả lời chia sẻ một số khía cạnh với câu trả lời đầu tiên – ví dụ: các câu hỏi mà nó đưa ra làm ví dụ cho các lĩnh vực khác nhau là tương tự – nhưng nó cung cấp ngữ cảnh sâu hơn, loại bỏ định dạng danh sách để có các đoạn văn mạch lạc và liên hệ các ví dụ với thực tế cuộc sống .
Kết hợp các đoạn mồi vào lời nhắc của bạn là một cách tương tác nâng cao hơn với chatbot. Việc thêm thông số kỹ thuật vào mỗi lời nhắc vẫn có thể hữu ích vì mô hình có thể mất dấu vết của phần mồi theo thời gian, nhưng nó sẽ bổ sung thêm nhiều sự rõ ràng cho các tương tác AI của bạn!
Cạm bẫy của LLM
LLM cực kỳ mạnh mẽ, nhưng chúng không có nghĩa là hoàn hảo. Có rất nhiều cạm bẫy mà bạn nên biết khi sử dụng chúng.
Nguồn trích dẫn
Các LLM phần lớn không thể trích dẫn chính xác các nguồn. Điều này là do họ không có quyền truy cập Internet và không nhớ chính xác thông tin của họ đến từ đâu. Họ sẽ thường xuyên tạo ra các nguồn có vẻ tốt nhưng hoàn toàn không chính xác.
Các chiến lược như LLM tăng cường tìm kiếm (LLM có thể tìm kiếm trên Internet và các nguồn khác) thường có thể khắc phục sự cố này
Thiên vị
LLM thường thiên về việc tạo ra các phản ứng khuôn mẫu. Ngay cả khi có những người bảo vệ an toàn, đôi khi họ sẽ nói những điều phân biệt giới tính/phân biệt chủng tộc/kỳ thị đồng tính. Hãy cẩn thận khi sử dụng LLM trong các ứng dụng hướng tới người tiêu dùng và cũng cẩn thận khi sử dụng chúng trong nghiên cứu (chúng có thể tạo ra kết quả sai lệch).
Ảo giác
Các LLM sẽ thường tạo ra sự giả dối khi được hỏi một câu hỏi mà họ không biết câu trả lời. Đôi khi họ sẽ nói rằng họ không biết câu trả lời, nhưng phần lớn thời gian họ sẽ tự tin đưa ra câu trả lời sai.
Tính toán
LLM thường kém môn toán. Họ gặp khó khăn khi giải các bài toán đơn giản và thường không thể giải các bài toán phức tạp hơn.
Vấn đề này có thể được khắc phục ở một mức độ nào đó bằng cách sử dụng công cụ LLM tăng cường.
Prompt Hacking
Người dùng thường có thể lừa các LLM tạo ra bất kỳ nội dung nào họ muốn.
Cài đặt LLM
Giới thiệu
Đầu ra của LLM có thể bị ảnh hưởng bởi siêu tham số cấu hình, kiểm soát các khía cạnh khác nhau của mô hình, chẳng hạn như mức độ ‘ngẫu nhiên’ của mô hình. Các siêu tham số này có thể được điều chỉnh để tạo ra đầu ra sáng tạo, đa dạng và thú vị hơn. Trong phần này, chúng ta sẽ thảo luận về hai siêu tham số cấu hình quan trọng và cách chúng ảnh hưởng đến đầu ra của LLM.
Nhiệt độ
Nhiệt độ là một siêu tham số cấu hình kiểm soát tính ngẫu nhiên của đầu ra mô hình ngôn ngữ. Nhiệt độ cao tạo ra kết quả khó đoán và sáng tạo hơn, trong khi nhiệt độ thấp tạo ra kết quả phổ biến và thận trọng hơn. Ví dụ: nếu bạn điều chỉnh nhiệt độ thành 0,5, thì mô hình thường sẽ tạo ra văn bản dễ đoán hơn và kém sáng tạo hơn so với khi bạn đặt nhiệt độ thành 1,0.
Top p
Top p, còn được gọi là lấy mẫu hạt nhân, là một siêu tham số cấu hình khác kiểm soát tính ngẫu nhiên của đầu ra mô hình ngôn ngữ. Nó đặt xác suất ngưỡng và chọn các mã thông báo hàng đầu có xác suất tích lũy vượt quá ngưỡng. Sau đó, mô hình sẽ lấy mẫu ngẫu nhiên từ bộ mã thông báo này để tạo đầu ra. Phương pháp này có thể tạo ra đầu ra đa dạng và thú vị hơn so với các phương pháp truyền thống lấy mẫu ngẫu nhiên toàn bộ từ vựng. Ví dụ: nếu bạn đặt top p thành 0,9, mô hình sẽ chỉ xem xét các từ có khả năng nhất chiếm 90% khối lượng xác suất.
Các siêu tham số có liên quan khác
Có nhiều siêu tham số khác có thể ảnh hưởng đến hiệu suất của mô hình ngôn ngữ, chẳng hạn như hình phạt về tần suất và hiện diện. Chúng tôi không đề cập đến chúng ở đây, nhưng có lẽ sẽ có trong tương lai.
Làm thế nào các siêu tham số này ảnh hưởng đến đầu ra
Nhiệt độ và top p đều có thể ảnh hưởng đến đầu ra của mô hình ngôn ngữ bằng cách kiểm soát mức độ ngẫu nhiên và đa dạng trong văn bản được tạo. Nhiệt độ cao hoặc giá trị p cao nhất tạo ra kết quả thú vị và khó đoán hơn, nhưng cũng làm tăng khả năng xảy ra lỗi hoặc văn bản vô nghĩa. Nhiệt độ thấp hoặc giá trị p cao nhất có thể tạo ra kết quả thận trọng và dễ đoán hơn, nhưng cũng có thể dẫn đến văn bản lặp lại hoặc không thú vị.
Đối với các tác vụ tạo văn bản, bạn có thể muốn sử dụng nhiệt độ cao hoặc giá trị p cao nhất. Tuy nhiên, đối với các tác vụ quan trọng về độ chính xác, chẳng hạn như tác vụ dịch thuật hoặc trả lời câu hỏi, nên sử dụng nhiệt độ thấp hoặc giá trị p cao nhất để cải thiện độ chính xác và tính chính xác thực tế.
Kết luận
Tóm lại, nhiệt độ, đỉnh p và các siêu tham số cấu hình mô hình khác là những yếu tố chính cần xem xét khi làm việc với các mô hình ngôn ngữ. Bằng cách hiểu mối quan hệ giữa các siêu tham số này và đầu ra của mô hình, các học viên có thể tối ưu hóa lời nhắc của họ cho các tác vụ và ứng dụng cụ thể.S
Một số kiểu máy, chẳng hạn như ChatGPT, không cho phép bạn điều chỉnh các siêu tham số cấu hình này.
Hiểu tâm trí AI
Có một vài điều đơn giản mà bạn nên biết về các AI khác nhau và cách chúng hoạt động trước khi bắt đầu đọc phần còn lại.
AI khác nhau
Hàng nghìn, nếu không muốn nói là hàng triệu AI tồn tại. Một số là tốt hơn so với những người khác. Các AI khác nhau có thể tạo ra hình ảnh, âm nhạc, văn bản và thậm chí cả video. Lưu ý rằng đây đều là AI tổng quát , về cơ bản là AI tạo ra mọi thứ. Ngoài ra còn có AI phân biệt, là AI phân loại mọi thứ. Ví dụ: bạn có thể sử dụng bộ phân loại hình ảnh để biết hình ảnh là con mèo hay con chó. Chúng tôi sẽ không sử dụng bất kỳ AI phân biệt nào trong các ví dụ của bài viết này.
Hiện chỉ có một số AI thế hệ mới đủ tiên tiến để đặc biệt hữu ích cho prompt engineering. Chúng tôi chủ yếu sử dụng GPT-3 và ChatGPT trong bài viết này. Như chúng tôi đã đề cập ở trang trước, ChatGPT là một bot trò chuyện, trong khi GPT-3 thì không. Họ thường sẽ đưa ra những câu trả lời khác nhau khi được hỏi cùng một câu hỏi. Nếu bạn là nhà phát triển, tôi khuyên bạn nên sử dụng GPT-3 vì nó dễ tái sản xuất hơn. Nếu bạn không phải là nhà phát triển, tôi khuyên bạn nên sử dụng ChatGPT vì nó dễ sử dụng hơn. Hầu hết các kỹ thuật trong bài viết này có thể được áp dụng cho cả AI. Tuy nhiên, một số trong số chúng sẽ chỉ là GPT-3, vì vậy chúng tôi khuyến khích bạn sử dụng GPT-3 nếu bạn muốn sử dụng tất cả các kỹ thuật trên.
Chúng tôi cũng sẽ sử dụng Stable Diffusion và DALLE trong phần tạo hình ảnh.
Cách thức hoạt động
Phần này mô tả các khía cạnh của AI văn bản tổng quát phổ biến. Những AI này có bộ não được tạo thành từ hàng tỷ tế bào thần kinh nhân tạo. Cách các nơ-ron này được cấu trúc được gọi là kiến trúc máy biến áp. Nó là một loại mạng lưới thần kinh khá phức tạp. Những gì bạn nên hiểu là:
- Những AI này chỉ là các hàm toán học. Thay vì f (x)=x^2, chúng giống như f(nghìn biến) = hàng nghìn đầu ra có thể.
- Những AI này hiểu các câu bằng cách chia chúng thành các từ/từ phụ được gọi là mã thông báo (ví dụ: AI có thể đọc
I don't likelà"I", "don", "'t" "like"). Mỗi mã thông báo sau đó được chuyển đổi thành một danh sách các số để AI có thể xử lý nó. - Các AI này dự đoán từ/mã thông báo tiếp theo trong câu dựa trên các từ/mã thông báo trước đó (ví dụ: AI có thể dự đoán
applessauI don't like). Mỗi mã thông báo họ viết dựa trên các mã thông báo trước đó họ đã thấy và viết; mỗi khi họ viết một mã thông báo mới, họ sẽ tạm dừng để suy nghĩ xem mã thông báo tiếp theo sẽ là gì. - Những AI này xem xét mọi mã thông báo cùng một lúc. Chúng không đọc từ trái sang phải hoặc từ phải sang trái như con người.
Vui lòng hiểu rằng các từ “suy nghĩ”, “bộ não” và “nơ-ron” là từ phóng đại, về cơ bản là phép ẩn dụ cho những gì mô hình đang thực sự làm. Những mô hình này không thực sự tư duy, chúng chỉ là các hàm toán học. Chúng không thực sự là bộ não, chúng chỉ là mạng lưới thần kinh nhân tạo. Chúng không thực sự là tế bào thần kinh sinh học, chúng chỉ là những con số.
Đây là một lĩnh vực nghiên cứu tích cực và hàn lâm. Mô tả này khá hoài nghi về bản chất của chúng và nhằm mục đích giảm bớt cách miêu tả của các phương tiện truyền thông đại chúng về AI như những sinh vật suy nghĩ/hành động giống con người. Điều này đang được nói, nếu bạn muốn nhân hóa AI, hãy tiếp tục! Có vẻ như hầu hết mọi người đều làm điều này và thậm chí nó có thể hữu ích cho việc học.