پاورپوینت تشخيص رکوردهای تکراری با استفاده از آناليز معنايي داده‌های عملياتی با فرمت PPTX ودر 56 اسلاید قابل ویرایش
قسمتی از متن پاورپوینت تشخيص رکوردهای تکراری با استفاده از آناليز معنايي داده‌های عملياتی
فهرست
مقدمه
•بررسی کارهای گذشته
•بررسی مشکلات و ارائه راه‌حل پيشنهادی
•آزمايشات و نتايج
•نتيجه‌گيری و کارهای آينده
کاربردهای يافتن رکوردهای تکراری
تشخيص رکوردهای تکراری در کاربردهای زير مطرح است
يکپارچه‌سازی داده‌ها
Similarity Query
پاکسازی داده‌ها
يکپارچه‌سازی داده‌ها
اطلاعات مربوط به موجوديت‌ها در منابع داده‌ای متفاوت ذخيره شده‌اند.
لازم است اطلاعات مربوط به يک موجوديت از منابع اطلاعاتی مختلف گردآوری
شود
پاکسازی داده‌ها
اطلاعات با کيفيت پايين سبب کاهش کارايي سازمان‌ها و تصميمات اشتباه
اطلاعات با کيفيت پايين عبارتند از
اطلاعات تکراری
غلط‌های املايي و با نمايش اشتباه
وجود داده‌های تکراری باعث
گزارشات اشتباه و در نتيجه تصميمات اشتباه
فرستادن چندين ايميل يکسان برای يک مشتری
هزينه نگهداری داده‌های اضافی برروی رسانه
روش‌ها و رويکردها در يافتن داده‌های تکراری
در تشخيص داده‌های تکراری، داده‌ها به شکل زير مدل می‌شوند
ساختار
مقدار
روش‌ها با توجه به اين که شباهت ميان ساختار و يا مقدار و يا هر دو را در نظر بگيرند، به دسته‌ها مختلف تقسيم می‌شوند.
روش‌های برپايه مقدار
در اين روش‌ها، شباهت با توجه به مقدار داده‌ها مقايسه می‌شود و شباهت‌های ساختاری در نظر گرفته نمی‌شود.
در مقايسه رکوردها از روش‌های برپايه مقدار استفاده می‌شود زيرا:
رکوردها دارای ساختار يکسانی هستند.
در مرحله پيش‌پردازش فيلدهای قابل مقايسه استخراج شده است.
روش‌های مقايسه فيلد
در اين روش‌ها شباهت ميان فيلدها اندازه‌گيری می‌شود.
تابع شباهت، تابعی است که شباهت ميان دو فيلد را اندازه‌گيری کرده و به صورت عددی بين صفر و يک بيان می‌کند.
روش‌های برپايه فرمول‌های جبری
در روش‌های برپايه فرمول‌های جبری رويکردهای متفاوتی وجود دارد
جمع وزن‌دار شباهت فيلدها
تبديل کل رکورد به يک فيلد
...
مشکل تعيين حدود آستانه
بهترين کارايي در حدود 90%
روش‌های هوشمند
استفاده از الگوريتم‌های يادگيری ماشين
آموزش با استفاده از داده
استفاده از مدل برای داده‌های تستی
مزايا
کمترين دخالت انسان
بالاترين کارايي
گراف معنايي
گراف ابزاری برای نشان دادن ارتباط ميان مفاهيم موجود در کلمات
استفاده از گراف معنايي برای بازنمايي و آناليز لغوی
هر نود نشاندهنده يک مفهوم است.
مفاهيم مرتبط با يک يال به يکديگر متصل می‌شوند.
دیدگاه خود را ثبت کنید