ทฤษฎีสารสนเทศ
4(4-0-12)
วิชาบังคับก่อน: ไม่มี
ความน่าจะเป็นและเอนโทรปี ทฤษฎีบทการเข้ารหัสแหล่งกำเนิด รหัสสัญลักษณ์ รหัสต่อเนื่อง การสื่อสารผ่านช่องสัญญาณที่ถูกรบกวน ทฤษฎีบทการเข้ารหัสช่องสัญญาณที่ถูกรบกวน รหัสแก้ไขความผิดพลาดช่องสัญญาณแบบมีข้อจำกัดที่ไม่ถูกรบกวน รหัสตรวจสอบพาริตีความหนาแน่นต่ำ รหัสคอนโวลูชันและเทอร์โบ
เค้าโครงรายวิชา
1. ความน่าจะเป็นและเอนโทรปี (4 ชั่วโมง)
2. ทฤษฎีบทการเข้ารหัสแหล่งกำเนิด (4 ชั่วโมง)
3. รหัสสัญลักษณ์ และรหัสต่อเนื่อง (4 ชั่วโมง)
4. การสื่อสารผ่านช่องสัญญาณที่ถูกรบกวน (4 ชั่วโมง)
5. ทฤษฎีบทการเข้ารหัสช่องสัญญาณที่ถูกรบกวน (4 ชั่วโมง)
6. รหัสแก้ไขความผิดพลาด (8 ชั่วโมง)
7. ช่องสัญญาณแบบมีข้อจำกัดที่ไม่ถูกรบกวน (4 ชั่วโมง)
8. รหัสตรวจสอบพาริตีความหนาแน่นต่ำ (4 ชั่วโมง)
9. รหัสคอนโวลูชัน (4 ชั่วโมง)
10. รหัสเทอร์โบ (8 ชั่วโมง)
ผลสัมฤทธิ์การเรียนรู้
1. เข้าใจการวัดสารสนเทศด้วยเอนโทปีและปริมาณข่าวสารร่วม
2. สร้างแบบจำลองรหัสแหล่งกำเนิดแบบไม่ต่อเนื่อง และวัดปริมาณข่าวสารที่กำเนิดออกมาโดยใช้ฟังก์ชันเอนโทรปี
3. สร้างแบบจำลองช่องสัญญาณโดยใช้ความน่าจะเป็น และสามารถคำนวณความจุของช่องสัญญาณ
4. สร้างความเชื่อมโยงระหว่างทฤษฎีสารสนเทศกับสาขาวิชาอื่น เช่น สถิติ และวิศวกรรมสื่อสาร
5. เรียนรู้รหัสแหล่งกำเนิด และรหัสช่องสัญญาณที่รู้จักกันแพร่หลาย
Information Theory
Prerequisite: None
Probability and entropy; the source coding theorem; symbol codes; stream codes; communication over a noisy channel; the noisy-channel coding theorem; error-correcting
codes; constrained noiseless channels; marginalization; low-density parity-check codes; convolution codes and turbo codes.
Course Outline
1. Probability and entropy (4 hours)
2. Source coding theorem (4 hours)
3. Symbol codes and stream codes (4 hours)
4. Communication over a noisy channel (4 hours)
5. Noisy-channel coding theorem (4 hours)
6. Error-correcting codes (8 hours)
7. Constrained noiseless channels (4 hours)
8. Low-density parity-check codes (4 hours)
9. Convolution codes (4 hours)
10. Turbo codes (8 hours)
Learning Outcomes
1. Understand entropy and mutual information as measures of information and connect them to source and channel coding problems.
2. Model discrete sources and quantify the information they generate in terms of entropy function.
3. Model Channels probabilistically and calculate their capacity.
4. Establish connections between information theory and other disciplines such as statistics and communication engineering.
5. Learn about well-known source and channel coding.