Ders Detayı
Ders Tanımı
Ders | Kodu | Yarıyıl | T+U Saat | Kredi | AKTS |
---|
DERİN ÖĞRENME İLE DOĞAL DİL İŞLEME | COED1113992 | Güz Dönemi | 3+0 | 3 | 8 |
Ön Koşul Dersleri | |
Önerilen Seçmeli Dersler | |
Dersin Dili | İngilizce |
Dersin Seviyesi | Doktora |
Dersin Türü | Programa Bağlı Seçmeli |
Dersin Koordinatörü | Prof.Dr. Selim AKYOKUŞ |
Dersi Verenler | Prof.Dr. Selim AKYOKUŞ |
Dersin Yardımcıları | |
Dersin Amacı | Doğal dil işleme (DDİ), bilgi çağında çok önemli bir teknoloji olarak öne çıkmaktadır. İnsan iletişiminin web aramaları, reklamlar ve e-postalardan müşteri hizmetleri, dil çevirisi, sanal aracılar, tıbbi raporlar ve siyasi söylemlere kadar çok çeşitli faaliyetleri kapsadığı düşünüldüğünde, DDİ uygulamaları hayatımızın çeşitli yönlerini etkilemektedir. Son on yılda, yapay sinir ağı yaklaşımlarını kullanan derin öğrenme, çok sayıda DDİ uygulamalarında dikkate değer bir başarı göstermiştir. Derin öğrenme, geleneksel, göreve özgü özellik mühendisliği ihtiyacını ortadan kaldırmaktadır. Bu ders, öğrencilere DDİ için Derin Öğrenme alanındaki en son gelişmeleri kapsamlı olarak sunmaktadır. Dersler, ödevler ve final projesinden oluşan bir kombinasyon aracılığıyla katılımcıların, farklı sinir ağı modellerini kavramsallaştırmak, uygulamak ve anlamak için gerekli becerileri elde edinmeleri sağlanacaktır. |
Dersin İçeriği | Bu ders; Doğal Dil İşleme (DDİ) ve Derin Öğrenmeye Giriş,DDİ, Makine Öğrenimi ve Derin Öğrenmenin Temelleri,Vektör Anlam bilimi ve Temsili,Dil Modelleri,Sinir Ağları ve Sinirsel Dil Modelleri ,Tekrarlayan Sinir Ağları ve Dil Modelleri,Seq2Seq, Makine Çevirisi, Alt Kelime Modelleri,Sınav haftası,Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri,Dönüştürücüler,İnce Ayar ve Maskelenmiş Dil Modelleri,Sorgulama ve Talimat Ayarlama,Soru Yanıtlama, Chatbotlar ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm,Proje sunumları; konularını içermektedir. |
Dersin Öğrenme Kazanımları | Öğretim Yöntemleri | Ölçme Yöntemleri |
Gerçek dünya problemlerini çözmek için ileri doğal dil işleme tekniklerini tanır | 2 | E |
NLP için son teknoloji derin öğrenme mimarilerini analiz eder | 16, 2 | D, F |
NLP için yaygın derin sinir ağı modellerini uygular | 12, 14, 21, 6, 9 | A, D, G |
Derin öğrenmenin doğal dil işlemeye uygulanmasına ilişkin araştırma literatürünü değerlendirebilme, ve doğal dil işleme için derin öğrenme mimarileri ile bir araştırma projesi hazırlama ve içeriğini sözlü bir sunumla özetleyebilme. | 14, 2 | F |
Öğretim Yöntemleri: | 12: Problem Çözme Yöntemi, 14: Bireysel Çalışma Yöntemi, 16: Soru - Cevap Tekniği , 2: Proje Temelli Öğrenme Modeli, 21: Benzetim/Simülasyon Tekniği, 6: Deneyimle Öğrenme Modeli, 9: Anlatım Yöntemi |
Ölçme Yöntemleri: | A: Klasik Yazılı Sınav, D: Sözlü Sınav, E: Ödev, F: Proje Görevi, G: Kısa Sınav |
Ders Akışı
Sıra | Konular | Ön Hazırlık |
---|
1 | Doğal Dil İşleme (DDİ) ve Derin Öğrenmeye Giriş | |
2 | DDİ, Makine Öğrenimi ve Derin Öğrenmenin Temelleri | |
3 | Vektör Anlam bilimi ve Temsili | |
4 | Dil Modelleri | |
5 | Sinir Ağları ve Sinirsel Dil Modelleri | |
6 | Tekrarlayan Sinir Ağları ve Dil Modelleri | |
7 | Seq2Seq, Makine Çevirisi, Alt Kelime Modelleri | |
8 | Sınav haftası | |
9 | Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri | |
10 | Dönüştürücüler | |
11 | İnce Ayar ve Maskelenmiş Dil Modelleri | |
12 | Sorgulama ve Talimat Ayarlama | |
13 | Soru Yanıtlama, Chatbotlar ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm | |
14 | Proje sunumları | |
Kaynak |
- Dan Jurafsky and James H. Martin. Speech and Language Processing
- Jacob Eisenstein. Natural Language Processing
- Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing
- Delip Rao and Brian McMahan. Natural Language Processing with PyTorch
- Lewis Tunstall, Leandro von Werra, and Thomas Wolf. Natural Language Processing with Transformers
|
Natural Language Processing with Python, Steven Bird, Ewan Klein, and Edward Loper at http://www.nltk.org/book/ |
Dersin Program Yeterliliklerine Katkısı
Dersin Program Yeterliliklerine Katkısı |
No | Program Yeterliliği | Katkı Düzeyi |
1 | 2 | 3 | 4 | 5 |
1 | Temel bilimleri, matematik ve mühendislik bilimlerini üst düzeyde anlar ve uygular, alanında en son gelişmeler dahil olmak üzere genişlemesine ve derinlemesine bilgi sahibidir. | | X | | | |
2 | Mühendisliğin ilişkili olduğu disiplinler arası etkileşimi kavrar, yeni ve karmaşık fikirleri analiz, sentez ve değerlendirmede uzmanlık gerektiren bilgileri kullanarak özgün sonuçlara ulaşır. | | | X | | |
3 | Bir alanda en yeni bilgilere ulaşır ve bunları kavrayarak araştırma yapabilmek için gerekli yöntem ve becerilerde üst düzeyde yeterliğe sahiptir. | | | X | | |
4 | Bilime veya teknolojiye yenilik getiren, yeni bir bilimsel yöntem veya teknolojik ürün/süreç geliştiren ya da bilinen bir yöntemi yeni bir alana uygulayan kapsamlı bir çalışma yapar. | | | | | |
5 | Akademik çalışmalarının çıktılarını saygın akademik ortamlarda yayınlayarak bilim ve teknoloji literatürüne katkıda bulunur. | | | | X | |
6 | Bilimsel, teknolojik, sosyal ve kültürel gelişmeleri değerlendirerek bilimsel tarafsızlık ve etik sorumluluk bilinciyle topluma aktarır. | | | | | |
7 | Özgün bir araştırma sürecini bağımsız olarak algılar, tasarlar, uygular ve sonuçlandırır; bu süreci yönetir. | | | | X | |
8 | Bilimsel bilgi birikimini yazılı ve sözlü olarak etkin bir şekilde ifade eder, en az bir yabancı dilde Avrupa Dil Portföyü C1 Genel Düzeyinde iletişim kurar ve iletişim teknolojilerini ileri düzeyde kullanır | | | | X | |
9 | Uzmanlık alanındaki fikirlerin ve gelişmelerin eleştirel analizini, sentezini ve değerlendirmesini yapar. | | X | | | |
10 | Mühendislik alanındaki bilimsel, teknolojik, sosyal veya kültürel ilerlemeleri tanıtır, yaşadığı toplumun bilgi toplumu olma ve bunu sürdürebilme sürecine katkıda bulunur ve toplumsal, bilimsel, kültürel ve etik değerlerin gelişimini destekler. | | | X | | |
Değerlendirme Sistemi
Katkı Düzeyi | Mutlak Değerlendirme |
Ara Sınavın Başarıya Oranı | | 50 |
Genel Sınavın Başarıya Oranı | | 50 |
Toplam | | 100 |
AKTS / İşyükü Tablosu |
Etkinlik | Sayı | Süresi (Saat) | Toplam İş Yükü (Saat) |
Ders Saati | 14 | 3 | 42 |
Rehberli Problem Çözme | 0 | 0 | 0 |
Problem Çözümü / Ödev / Proje / Rapor Tanzimi | 10 | 2 | 20 |
Okul Dışı Diğer Faaliyetler | 0 | 0 | 0 |
Proje Sunumu / Seminer | 8 | 10 | 80 |
Kısa Sınav (QUİZ) ve Hazırlığı | 6 | 3 | 18 |
Ara Sınav ve Hazırlığı | 1 | 30 | 30 |
Genel Sınav ve Hazırlığı | 1 | 50 | 50 |
Performans Görevi, Bakım Planı | 0 | 0 | 0 |
Toplam İş Yükü (Saat) | 240 |
Dersin AKTS Kredisi = Toplam İş Yükü (Saat)/30*=(240/30) | 8 |
Dersin AKTS Kredisi: *30 saatlik çalışma 1 AKTS kredisi sayılmaktadır. |
Dersin Detaylı Bilgileri
Ders Tanımı
Ders | Kodu | Yarıyıl | T+U Saat | Kredi | AKTS |
---|
DERİN ÖĞRENME İLE DOĞAL DİL İŞLEME | COED1113992 | Güz Dönemi | 3+0 | 3 | 8 |
Ön Koşul Dersleri | |
Önerilen Seçmeli Dersler | |
Dersin Dili | İngilizce |
Dersin Seviyesi | Doktora |
Dersin Türü | Programa Bağlı Seçmeli |
Dersin Koordinatörü | Prof.Dr. Selim AKYOKUŞ |
Dersi Verenler | Prof.Dr. Selim AKYOKUŞ |
Dersin Yardımcıları | |
Dersin Amacı | Doğal dil işleme (DDİ), bilgi çağında çok önemli bir teknoloji olarak öne çıkmaktadır. İnsan iletişiminin web aramaları, reklamlar ve e-postalardan müşteri hizmetleri, dil çevirisi, sanal aracılar, tıbbi raporlar ve siyasi söylemlere kadar çok çeşitli faaliyetleri kapsadığı düşünüldüğünde, DDİ uygulamaları hayatımızın çeşitli yönlerini etkilemektedir. Son on yılda, yapay sinir ağı yaklaşımlarını kullanan derin öğrenme, çok sayıda DDİ uygulamalarında dikkate değer bir başarı göstermiştir. Derin öğrenme, geleneksel, göreve özgü özellik mühendisliği ihtiyacını ortadan kaldırmaktadır. Bu ders, öğrencilere DDİ için Derin Öğrenme alanındaki en son gelişmeleri kapsamlı olarak sunmaktadır. Dersler, ödevler ve final projesinden oluşan bir kombinasyon aracılığıyla katılımcıların, farklı sinir ağı modellerini kavramsallaştırmak, uygulamak ve anlamak için gerekli becerileri elde edinmeleri sağlanacaktır. |
Dersin İçeriği | Bu ders; Doğal Dil İşleme (DDİ) ve Derin Öğrenmeye Giriş,DDİ, Makine Öğrenimi ve Derin Öğrenmenin Temelleri,Vektör Anlam bilimi ve Temsili,Dil Modelleri,Sinir Ağları ve Sinirsel Dil Modelleri ,Tekrarlayan Sinir Ağları ve Dil Modelleri,Seq2Seq, Makine Çevirisi, Alt Kelime Modelleri,Sınav haftası,Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri,Dönüştürücüler,İnce Ayar ve Maskelenmiş Dil Modelleri,Sorgulama ve Talimat Ayarlama,Soru Yanıtlama, Chatbotlar ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm,Proje sunumları; konularını içermektedir. |
Dersin Öğrenme Kazanımları | Öğretim Yöntemleri | Ölçme Yöntemleri |
Gerçek dünya problemlerini çözmek için ileri doğal dil işleme tekniklerini tanır | 2 | E |
NLP için son teknoloji derin öğrenme mimarilerini analiz eder | 16, 2 | D, F |
NLP için yaygın derin sinir ağı modellerini uygular | 12, 14, 21, 6, 9 | A, D, G |
Derin öğrenmenin doğal dil işlemeye uygulanmasına ilişkin araştırma literatürünü değerlendirebilme, ve doğal dil işleme için derin öğrenme mimarileri ile bir araştırma projesi hazırlama ve içeriğini sözlü bir sunumla özetleyebilme. | 14, 2 | F |
Öğretim Yöntemleri: | 12: Problem Çözme Yöntemi, 14: Bireysel Çalışma Yöntemi, 16: Soru - Cevap Tekniği , 2: Proje Temelli Öğrenme Modeli, 21: Benzetim/Simülasyon Tekniği, 6: Deneyimle Öğrenme Modeli, 9: Anlatım Yöntemi |
Ölçme Yöntemleri: | A: Klasik Yazılı Sınav, D: Sözlü Sınav, E: Ödev, F: Proje Görevi, G: Kısa Sınav |
Ders Akışı
Sıra | Konular | Ön Hazırlık |
---|
1 | Doğal Dil İşleme (DDİ) ve Derin Öğrenmeye Giriş | |
2 | DDİ, Makine Öğrenimi ve Derin Öğrenmenin Temelleri | |
3 | Vektör Anlam bilimi ve Temsili | |
4 | Dil Modelleri | |
5 | Sinir Ağları ve Sinirsel Dil Modelleri | |
6 | Tekrarlayan Sinir Ağları ve Dil Modelleri | |
7 | Seq2Seq, Makine Çevirisi, Alt Kelime Modelleri | |
8 | Sınav haftası | |
9 | Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri | |
10 | Dönüştürücüler | |
11 | İnce Ayar ve Maskelenmiş Dil Modelleri | |
12 | Sorgulama ve Talimat Ayarlama | |
13 | Soru Yanıtlama, Chatbotlar ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm | |
14 | Proje sunumları | |
Kaynak |
- Dan Jurafsky and James H. Martin. Speech and Language Processing
- Jacob Eisenstein. Natural Language Processing
- Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing
- Delip Rao and Brian McMahan. Natural Language Processing with PyTorch
- Lewis Tunstall, Leandro von Werra, and Thomas Wolf. Natural Language Processing with Transformers
|
Natural Language Processing with Python, Steven Bird, Ewan Klein, and Edward Loper at http://www.nltk.org/book/ |
Dersin Program Yeterliliklerine Katkısı
Dersin Program Yeterliliklerine Katkısı |
No | Program Yeterliliği | Katkı Düzeyi |
1 | 2 | 3 | 4 | 5 |
1 | Temel bilimleri, matematik ve mühendislik bilimlerini üst düzeyde anlar ve uygular, alanında en son gelişmeler dahil olmak üzere genişlemesine ve derinlemesine bilgi sahibidir. | | X | | | |
2 | Mühendisliğin ilişkili olduğu disiplinler arası etkileşimi kavrar, yeni ve karmaşık fikirleri analiz, sentez ve değerlendirmede uzmanlık gerektiren bilgileri kullanarak özgün sonuçlara ulaşır. | | | X | | |
3 | Bir alanda en yeni bilgilere ulaşır ve bunları kavrayarak araştırma yapabilmek için gerekli yöntem ve becerilerde üst düzeyde yeterliğe sahiptir. | | | X | | |
4 | Bilime veya teknolojiye yenilik getiren, yeni bir bilimsel yöntem veya teknolojik ürün/süreç geliştiren ya da bilinen bir yöntemi yeni bir alana uygulayan kapsamlı bir çalışma yapar. | | | | | |
5 | Akademik çalışmalarının çıktılarını saygın akademik ortamlarda yayınlayarak bilim ve teknoloji literatürüne katkıda bulunur. | | | | X | |
6 | Bilimsel, teknolojik, sosyal ve kültürel gelişmeleri değerlendirerek bilimsel tarafsızlık ve etik sorumluluk bilinciyle topluma aktarır. | | | | | |
7 | Özgün bir araştırma sürecini bağımsız olarak algılar, tasarlar, uygular ve sonuçlandırır; bu süreci yönetir. | | | | X | |
8 | Bilimsel bilgi birikimini yazılı ve sözlü olarak etkin bir şekilde ifade eder, en az bir yabancı dilde Avrupa Dil Portföyü C1 Genel Düzeyinde iletişim kurar ve iletişim teknolojilerini ileri düzeyde kullanır | | | | X | |
9 | Uzmanlık alanındaki fikirlerin ve gelişmelerin eleştirel analizini, sentezini ve değerlendirmesini yapar. | | X | | | |
10 | Mühendislik alanındaki bilimsel, teknolojik, sosyal veya kültürel ilerlemeleri tanıtır, yaşadığı toplumun bilgi toplumu olma ve bunu sürdürebilme sürecine katkıda bulunur ve toplumsal, bilimsel, kültürel ve etik değerlerin gelişimini destekler. | | | X | | |
Değerlendirme Sistemi
Katkı Düzeyi | Mutlak Değerlendirme |
Ara Sınavın Başarıya Oranı | | 50 |
Genel Sınavın Başarıya Oranı | | 50 |
Toplam | | 100 |
Sayısal Veriler
Ekleme Tarihi: 10/02/2023 - 16:22Son Güncelleme Tarihi: 10/02/2023 - 16:23