Verinin Gücüyle Öğrenmeyi Dönüştürmek - Öğrenme Analitiği ve İş Etkisi

Kurumsal eğitim ve gelişim dünyası sessiz ama köklü bir devrimden geçiyor. Şirketler her yıl çalışan eğitimi ve yetenek gelişimine milyarlarca dolar yatırım yaparken, yönetim kurullarının ve üst düzey yöneticilerin sorduğu o kaçınılmaz soru artık daha yüksek sesle yankılanıyor: "Yaptığımız bu yatırımların iş sonuçlarına etkisi nedir ve bunu nasıl kanıtlayabilirsiniz?" Ne yazık ki, L&D (Öğrenme ve Gelişim) profesyonelleri uzun yıllardır bu soruya tatmin edici yanıtlar vermekte zorlanıyorlar. Amerikan Yetenek Geliştirme Derneği'nin (ATD) 2020 yılında yayınladığı Yetenek Gelişimi Kabiliyet Modeli öz değerlendirme verilerine göre, veri ve analitik becerisi, ankete katılan 25.000'den fazla profesyonel arasında en düşük puana sahip kabiliyet alanı olarak belirlenmiştir. Bu durum, en kıdemsiz eğitmenden kurumsal öğrenme liderlerine (CLO) kadar unvandan bağımsız olarak tüm seviyelerde değişmemekte ve ortalama yeterlilik skoru 100 üzerinden 41,6 gibi oldukça düşük bir seviyede kalmaktadır.

Bu durumun temel sebeplerinden biri, L&D departmanlarının uzun yıllar boyunca "SCORM döngüsü" içerisine hapsolmuş olmasıdır. Yaklaşık yirmi yıldır endüstri standardı olan SCORM, eğitimlerin sistemler arasında taşınabilir olmasını sağlarken ne yazık ki bize son derece sınırlı veriler sunmuştur: eğitimin tamamlanıp tamamlanmadığı, sınav skoru ve eğitimde harcanan süre. Bu durum, iş liderlerine yalnızca "eğitimi kaç kişinin tamamladığı" bilgisini vermemize ve analitik beklentisini bu seviyede sınırlamamıza yol açtı. Oysa günümüzde xAPI (Deneyim API'si) teknolojisiyle birlikte bu kısıtlamalar aşılıyor; artık çalışanların dijital platformlardaki her türlü etkileşimini, performans verilerini ve gerçek iş başı deneyimlerini takip edebiliyoruz.

Öğrenme Analitiği Nedir? Verinin Arkasındaki Bilim ve Sanat

Öğrenme analitiği, en basit tanımıyla, öğrenme süreçlerine ve öğrenen etkileşimlerine ilişkin verilerin toplanması, analiz edilmesi ve yorumlanması sürecidir. Alanın öncü kitaplarından Measurement Demystified (Ölçümün Gizemini Çözmek) eserinde David Vance ve Peggy Parskey, öğrenme analitiğini daha geniş bir çerçevede ele alır: "Öğrenme analitiği; verileri toplama, işleme ve yorumlama bilimi ve sanatıdır.". Bu süreç, veriler arasındaki ilişkileri ortaya çıkarmak veya geleceğe yönelik tahminlerde bulunmak için regresyon gibi ileri düzey istatistiksel teknikleri de içerebilir. Buradaki nihai amaç, L&D liderlerinin karar verme süreçlerini desteklemek ve öğrenme fonksiyonunu iş hedefleriyle tam uyumlu hale getirmektir.

Ancak analitikle değer yaratmak, sadece veri yığınları ve görsel paneller (dashboard) oluşturmaktan ibaret değildir. Net bir strateji ve amaca dayanmayan analitik yatırımları, organizasyonları yanlış alanlara yönlendirebilir ve yöneticilerin "daha fazlasını bilme" açlığını dindiremez.

İlk Adımı Atmak: L&D Profesyonelleri İçin Beş Altın Soru

Öğrenme analitiği yolculuğuna başlarken karmaşık formüllere veya pahalı yazılımlara boğulmadan önce, organizasyonların kendilerine şu beş temel soruyu sorması gerekir:

1. Öğrenme analitiği zorluklarınızı ve problemlerinizi tanımladınız mı? Sürece her zaman sonu düşünerek başlamalısınız. Hangi öğrenme veya performans odaklı darboğazları çözmek istiyorsunuz? Verinin hangi konularda size rehberlik etmesini bekliyorsunuz?

2. Başarı ölçütleriniz nelerdir? Çözmek istediğiniz problemi tanımladıktan sonra, bu problemin çözümünü nasıl ölçeceğinizi netleştirmelisiniz. Örneğin, "Eğitimlerin etkisini nasıl artırırız?" diye soruyorsanız, öncelikle "etki" kavramını nasıl tanımladığınızı ve hangi metriklerle ölçeceğinizi (çalışan bağlılığı, işten ayrılma oranları, performans yönetim skorları vb.) belirlemelisiniz.

3. Verileriniz nerede saklanıyor? İhtiyacınız olan verilerin nerede olduğunu, bunlara erişiminizin olup olmadığını ve verilerin tek bir sistemde mi yoksa farklı departmanların (İK, IT, Satış) sistemlerinde mi dağılmış durumda olduğunu analiz etmelisiniz. Bu noktada IT departmanıyla iş birliği yapmak ve yönetim desteğini arkaya almak kritik bir öneme sahiptir.

4. Veri kalitesini nasıl güvence altına alıyorsunuz? Sırf elde edilmesi en kolay veri olduğu için kalitesiz veya alakasız verileri analize dahil etmemelisiniz. Farklı kaynaklardan gelen kirli veya hatalı veriler temizlenmeli ve doğruluk kontrolünden geçirilmelidir; aksi takdirde "çöp girerse, çöp çıkar" prensibi gereği hatalı analizler ve yanlış kararlarla karşı karşıya kalırsınız.

5. Mevcut altyapınızda hangi araçlar halihazırda mevcut? Birçok organizasyon zaten öğrenme analitiği yapabilecek araçlara sahiptir. Mevcut Öğrenme Yönetim Sisteminizin (LMS) gelişmiş analitik modüllerini inceleyebilir, kurumunuzdaki IT veya İK ekiplerinin kullandığı Microsoft Power BI, Tableau, Visier veya Sisense gibi iş zekası yazılımlarından yararlanabilirsiniz.

Eğitim Tasarımında Veriyi Öne Çekmek ve Sean Putman'ın Hikayesi

L&D dünyasında sıklıkla düşülen en büyük tuzaklardan biri, veriyi ve değerlendirmeyi (evaluation) sürecin en sonuna, yani "iş bittikten sonraki" aşamaya bırakmaktır. Popüler ADDIE modelinde değerlendirmenin son aşamada yer alması, analitiğin bir "sonradan akla gelen fikir" olarak konumlandırılmasına yol açmaktadır. Projenin sonunda, "Keşke şu veriyi de toplasaydık" diyerek hayıflanmak yerine, tasarım sürecini en başından itibaren veri odaklı kararlarla öne yüklemek gerekir. Proje başlangıcında iş sponsoruyla "Hedeflerimiz neler?", "Çalışanların ne yapmasını istiyoruz?" ve "Bunu nasıl ölçeceğiz?" sorularını tartışmak, veriyi sürecin ayrılmaz bir parçası haline getirir.

Veri odaklı tasarımın ve erken aşamada veri toplamanın önemini gösteren klasik bir başarı hikayesi mevcuttur. Sektörün tanınan isimlerinden Sean Putman ve ekibi, müşterileri için ekran görüntüleri, metin tabanlı yönergeler ve zengin videolarla dolu devasa bir yazılım bilgi bankası hazırlar. Ekipteki bir tasarımcının sadece bu videoları oluşturmak için tam 800 saat harcadığı belirtilmektedir. Ancak sistem xAPI ile entegre edilip kullanıcı verileri analiz edildiğinde şok edici bir gerçekle karşılaşılır: Kullanıcıların neredeyse hiçbiri videoları izlememektedir!

Eğitim tasarımcıları için adeta bir "nakavt" etkisi yaratan bu bulgu, aslında verinin kurtarıcı gücünü simgeler. Eğer bu veriler toplanmasaydı, ekip sonraki projelerde de video üretmek için yüzlerce saat harcamaya devam edecekti. Veri sayesinde ekip hızla yönünü değiştirerek (pivot) enerjisini ve kaynaklarını kullanıcıların gerçekten ihtiyaç duyduğu alanlara kanalize etmeyi başarmıştır. Buradaki temel ders şudur: Eğer veriye göre hareket etmeye ve tasarımımızı değiştirmeye niyetimiz yoksa, veriyi toplamak sadece bir zaman kaybıdır.

Öğrenme Ekosistemini Yönetmek: Geniş Açı ve Yakın Çekim

Eğitim programlarının etkinliğini anlamak, iki farklı mercekten bakmayı gerektiren iki aşamalı bir zorluktur: İçerik perspektifi ve öğrenen perspektifi. Bu yaklaşım, hem ekosistemi kuş bakışı görmek hem de en ince ayrıntıya kadar inebilmek anlamına gelir.

1. Geniş Açı (Panoramik Bakış)

Makro düzeyde, tüm öğrenen popülasyonunun verilerini bir arada analiz etmek, katalog yönetiminde hayati kararlar almanızı sağlar. "Kataloğumuzda en çok hangi eğitimler kullanılıyor? Hangileri rafta tozlanıyor?" gibi soruların yanıtları, kısıtlı bütçe ve zamanı hangi içeriklerin güncellenmesine ayıracağınızı belirlemede L&D ekiplerine kılavuzluk eder.

İş etkisi boyutunda ise öğrenme analitiğinin finansal verilerle veya departman performanslarıyla ilişkilendirilmesi gerekir. Örneğin, satış ekiplerine verilen "Etkili Toplantı Yönetimi" eğitiminin ardından, satış hunisinde oluşturulan yeni fırsat sayısındaki artışı gözlemlemek, yönetime sunulacak en güçlü kanıttır.

2. Yakın Çekim (Granüler Bakış)

Mikro düzeyde, bir dersin içerisindeki belirli sınav sorularının analiz edilmesi (madde analizi), öğretim tasarımı ekibinin kalitesini doğrudan artırır. Eğer bir sınav sorusu tüm katılımcılar tarafından sürekli yanlış cevaplanıyorsa, sorun öğrencide değil; ya sorunun hatalı tasarlanmasında ya da o konuyu anlatan içeriğin yetersizliğindedir. Bu analiz, "Öğrenenler mi eğitimi geçemiyor, yoksa eğitim mi öğrenenleri yarı yolda bırakıyor?" sorusuna yanıt verir.

Bireysel düzeyde ise granüler veriler yöneticilere çalışan koçluğunda muazzam bir destek sağlar. Hangi çalışanın nerede tıkandığını, hangi beceride gelişime açık olduğunu görmek kişiselleştirilmiş gelişim planlarının önünü açar.

Atık Öğrenme (Scrap Learning) ve Tahminleyici Öğrenme Analitiği (PLA)

Yöneticilerin en büyük korkularından biri, eğitime harcanan bütçenin çöpe gitmesidir. Eğitim bilimci Ken Phillips tarafından geliştirilen Tahminleyici Öğrenme Analitiği (Predictive Learning Analytics - PLA) metodolojisi, bu riski minimize etmek için bilimsel bir çerçeve sunar.

Phillips, eğitim dünyasındaki en büyük israfı Atık Öğrenme (Scrap Learning) olarak tanımlar. Atık öğrenme; çalışanlara sunulan ancak iş başında hiçbir zaman uygulamaya dökülmeyen öğrenme miktarını ifade eder ve eğitimin transferinin tam tersidir. Araştırmalar, kurumsal eğitimlerin %45 ile %85'inin atık öğrenmeye dönüştüğünü göstermektedir. Bu, eğitim transferinin yalnızca %15 ila %55 arasında kaldığı anlamına gelir.

ATD'nin State of the Industry  raporundaki verileri kullanarak bu israfın maliyetini çarpıcı bir şekilde hesaplayabiliriz. Rapor verilerine göre, şirketlerin çalışan başına yıllık ortalama eğitim harcaması 1.299 dolar, çalışan başına tüketilen ortalama eğitim süresi ise 34 saattir. Bu durumda, atık öğrenmenin kurumlara faturası şu şekildedir:

• %45 Atık Oranında: Çalışan başına 585 dolar ve 15 saat çöpe gitmektedir.

• %85 Atık Oranında: Çalışan başına 1.104 dolar ve 29 saat boşa harcanmaktadır.

Tahminleyici Öğrenme Analitiği (PLA) Modeli

PLA metodolojisi, atık öğrenmeyi azaltmak ve eğitim transferini maksimize etmek için üç temel bileşene dayanır:

1. Öğrenme Programı Tasarımı (Learning Program Design): Eğitim içeriğinin yeni bilgi aktarma derecesi, çalışanın işiyle alakası, kariyerine katkısı ve iş metriklerini iyileştirme potansiyeli.

2. Öğrenen Nitelikleri (Learner Attributes): Çalışanın eğitimi uygulamaya yönelik kişisel motivasyonu, kendine olan güveni (öz yeterlilik), edindiği bilgileri performansa nasıl dönüştüreceği üzerindeki derin düşünme (refleksiyon) düzeyi.

3. Öğrenenin Çalışma Ortamı (Learner's Work Environment): Yöneticinin eğitim öncesi ve sonrasında çalışanla yaptığı gelişim odaklı görüşmeler, çalışma arkadaşlarının desteği ve yeni bilgileri uygulamak için hemen sunulan fırsatlar.

PLA Metodolojisinin 3 Aşaması ve 9 Adımı

• Aşama 1: Veri Toplama ve Analiz: Doğru program ve kalibrasyon kohortu seçilir; eğitimden 30 gün sonra katılımcılara PLA anketi uygulanır. Bu anket sonuçlarıyla Öğrenen Uygulama Endeksi, Yönetici Eğitim Desteği Endeksi ve Eğitim Transfer Bileşeni Endeksi hesaplanarak atık öğrenme yüzdesi ve transfer engelleri tespit edilir.

• Aşama 2: Çözümün Uygulanması: Düşük puan alan alanlara yönelik düzeltici aksiyonlar geliştirilir. Risk altındaki çalışanlara pekiştirme desteği sağlanır, yöneticilere eğitim transferini nasıl destekleyecekleri konusunda rehberlik edilir.

• Aşama 3: Sonuçların Raporlanması: Elde edilen veriler, hem rakamları hem de hikayeyi içeren bir anlatıyla üst düzey yöneticilerle paylaşılır.

Doğru Öğrenme Analitiği Çözümünü Seçmek ve Hayata Geçirmek

Öğrenme analitiği uygulamalarında teknolojik altyapı seçimi, projenin uzun vadedeki başarısını ve maliyet yapısını doğrudan etkiler. Temel olarak iki tür analitik çözümü mevcuttur:

1. Yerleşik (Embedded) Analitik Çözümleri

Öğrenme Yönetim Sisteminizle (LMS) birlikte gelen, sistemin halihazırda topladığı verilere dayalı temel raporlama araçlarıdır.

• Avantajları: Kurulum gerektirmez, sistemle tamamen entegredir, düşük maliyetli veya ücretsizdir, kullanımı kolaydır.

• Dezavantajları: İşlevselliği son derece sınırlıdır, ileri düzey istatistiksel analiz yapamaz, diğer veri kaynaklarıyla (örneğin satış veya performans sistemleri) uyumlu değildir.

2. Platform Analitiği Çözümleri

Farklı kaynaklardan gelen verileri entegre edebilen, analiz odaklı bağımsız yazılımlardır.

• Avantajları: Çoklu veri kaynaklarını birleştirebilir, güçlü istatistiksel ve görselleştirme araçlarına sahiptir, özelleştirilmiş dashboard tasarımlarına izin verir.

• Dezavantajları: Ayrı bir kurulum ve entegrasyon süreci gerektirir, öğrenme eğrisi daha diktir.

Bir platform analitiği çözümünü hayata geçirirken organizasyonların önünde üç farklı yol bulunur:

• Kendi Yazılımını Geliştirmek (Build): Tamamen kuruma özel tasarım ve kod tabanı üzerinde tam kontrol sağlar. Ancak yüksek zaman ve kaynak yatırımı, sürekli bakım ihtiyacı ve güvenlik açığı riski gibi dezavantajları vardır.

• Hazır Çözüm Satın Almak (Buy): Düşük toplam sahip olma maliyeti, hızlı kurulum, resmi üretici desteği ve yüksek güvenlik gibi büyük avantajlar sunar. Buna karşın, çok spesifik ihtiyaçlara birebir uymayabilir ve kod tabanı üzerinde kontrol olmadığı için özelleştirme zordur.

• Açık Kaynak Kodlu Sistemi Uyarlamak (Hybrid): Sıfırdan kod yazma ihtiyacı yoktur, esnektir ve hatalar topluluk tarafından hızla çözülür. Ancak arayüzü genellikle kullanıcı dostu değildir, L&D spesifik standartları doğrudan desteklemeyebilir ve ciddi kurum içi uzmanlık gerektiriEğer hazır bir çözüm tercih edilecekse, seçilen sistemin mutlaka L&D ihtiyaçları için özel tasarlanmış olmasına ve xAPI gibi öğrenmeye özgü standartları desteklemesine dikkat edilmelidir.

Analitik Raporlarının Tozlu Raflarda Kalmasını Önlemek

Mükemmel veri analizi yapmak ve harika dashboard'lar hazırlamak tek başına yeterli değildir; asıl sorumluluk bu verilerin karar vericiler tarafından tüketilmesini ve aksiyona dönüştürülmesini sağlamaktır. Çoğu zaman hazırlanan raporlar okunmaz ve paneller kullanılmaz. Araştırmalar, bu "rafta kalma" durumunun arkasında altı temel neden olduğunu göstermektedir:

1. Aşırı Veri Yüklemesi: Analiz ettiğiniz her şeyi paylaşmaya çalışmayın. Raporlarınızı sadece yönetici özeti ve en kritik performans göstergeleriyle sınırlandırın.

2. Yetersiz Görselleştirme: Okuyucunun grafiği saniyeler içinde yorumlamasını zorlaştıran, karmaşık ve hatalı grafik tasarımlarından kaçının.

3. Zamanlama Uyuşmazlığı: L&D liderleri müfredat kararlarını aylık alıyor ama analitik raporları çeyreklik sunuluyorsa, veri karar döngüsünün gerisinde kalır. Raporlama sıklığı, organizasyonun karar alma sıklığıyla tam uyumlu olmalıdır.

4. Bağlam Eksikliği: Grafikteki düşüş veya yükseliş eğilimleri tek başına bir şey ifade etmez. Veriyi yorumlayabilmek için hedefler, kıyaslama noktaları (benchmark) veya alarm eşikleri eklenmelidir.

5. Anlatı Eksikliği: Grafiklerin kendi kendini açıkladığını varsaymayın. Açıklık ve netlik önemli.

6. Grup Keşfi Eksikliği: Bireylerin tek başlarına veriden anlam çıkarması zordur. Farklı paydaşları aynı odada toplayarak verileri birlikte tartıştıkları "Veri Partileri" :) düzenleyin; kolektif akıl, verinin arkasındaki gerçek hikayeyi çok daha hızlı ortaya çıkaracaktır.

Yapay Zeka Çağında Öğrenme Analitiği ve Olgunluk Eğrisi

Bugün yapay zeka (AI) ve çeşitli dil modelleri, CSV dosyalarını doğrudan analiz edip saniyeler içinde önemli bulguları önümüze serebiliyor. Ancak bu araçları kullanırken, onları birer "hesap makinesi" gibi düşünmeliyiz. Formülü yanlış girersek veya yanlış bir tuşa basarsak hesap makinesi bize hatalı bir sonuç verir; ancak matematik bilincimiz yoksa bu hatayı fark edemeyiz. Yapay zeka çıktılarını ve veri analizlerini değerlendirirken her zaman "tutarlı kanıtlar" aramalı ve kendi süzgecimizden geçirmeliyiz. Tıpkı Wikipedia ilk çıktığında öğrencilere onu doğrudan kaynak göstermemeleri ama nasıl doğrulayacaklarını öğrenmeleri gerektiğinin söylenmesi gibi, yapay zeka çağında da L&D profesyonellerinin "bilinçli veri tüketicileri" haline gelmesi gerekmektedir.

Bu doğrultuda organizasyonlar analitik olgunluk eğrisinde adım adım ilerlemelidir. Bu süreç bir yılda tamamlanabilecek kısa bir maraton değildir. Süreç genellikle şu aşamalardan geçer:

• Verisiz / Reaktif Durum

• Prototipleme

• Pilot Testler

• İlk Üretim Projeleri

• Çoklu Üretim Projeleri

• Kurumsal Ölçekte Entegre Analitik

Her aşamada ihtiyaç duyulan beceriler, kullanılan araçlar ve iş birliği yapılan departmanlar değişiklik gösterir. Analitik olgunluğu yüksek organizasyonlar, öğrenme ekiplerinin içine doğrudan veri bilimcileri entegre ederek veriyi kaba kuvvetle işlemek yerine Tableau, Power BI ve LRS (Öğrenme Kayıt Depoları) gibi modern kodsuz/az kodlu teknolojilerden yararlanırlar.

Sonuç

Öğrenme analitiği, L&D departmanları için sadece bir "ölçüm aracı" veya yöneticilere sunulacak şık grafiklerden ibaret değildir. Doğru planlandığında, veriden aksiyona uzanan bu yolculuk, tüm organizasyonda performansı artıran, yetenek açığını kapatan ve sürekli öğrenme kültürünü besleyen en güçlü büyüme ve inovasyon katalizörüdür. Eğitim yatırımlarımızın atığa (scrap learning) dönüşmesini engellemek ve veriyi işin kalbine yerleştirmek, geleceğin başarılı organizasyonlarının en belirgin ortak özelliği olacaktır.

Kaynakça

• Association for Talent Development. (2019). State of the Industry Report. Alexandria, VA: ATD.

• Phillips, K. (2020). Evaluate learning with predictive learning analytics. TD at Work, Issue 2010. Alexandria, VA: Association for Talent Development.

• Parskey, P., & Vance, D. (2020). Measurement Demystified: Creating Your L&D Measurement, Analytics, and Reporting Strategy. Alexandria, VA: Association for Talent Development.

• Torrance, M. (2023). Data and Analytics for Instructional Designers. Alexandria, VA: Association for Talent Development.

• Torrance, M. (Konuk). (2023). Accidental Trainer Podcast [Ses Kaydı]. Association for Talent Development.