مقاله داده کاوی

توضیحات محصول

دانلود مقاله داده کاوی با فرمت ورد ودر 93 صفحه قابل ویرایش

فهرست مطالب

فصل اول : داده کاوی و وب.. 3

مقدمه. 4

طبقه بندی Web mining. 5

داده کاوی و visualization در اینترنت.. 7

کاوش الگو. 8

وب کاوی در E-Commerce. 9

فصل دوم : پردازشها و تكنيكهايweb data mining. 11

مقدمه. 11

مراحل Data mining. 16

مراحل جستجو. 17

پردازش روي نتايج.. 18

جنبههاي واسط كاربر. 19

خروجيهاي data mining web:21

پياده سازيهاي data mining web:23

فصل سوم : کاوش پايگاه داده هاي وب.. 29

مقدمه. 30

جستجو در پايگاه دادةها در وب.. 30

داده كاوي شيئي – رابطهاي.. 31

اشتراك داده در مقابل داده كاوي در وب.. 31

كاوش پايگاههاي دادة نيمه ساختيافته. 32

كاوش و سپس ادغام. 33

Web mining و Meta data. 34

كاوش متاديتا35

انبار و كاوش.. 35

متاديتا براي كاوش چند رسانهاي.. 36

متا ديتا براي web mining. 36

كاوش پايگاه دادههاي توزيع شده، ناهمگن ، وراثتي و متحد در وب.. 37

ماژولهايي از DP براي داده كاوي.. 37

داده كاوي روي پايگاه داده توزيع شده38

كاوش و سپس اجتماع. 38

كاوش interoperating و مخزن. 39

همكاري ميان عاملهاي كاوش.. 39

واسط براي مجتمع سازي.. 40

معماريها وweb data mining. 41

ماژولهاي داده كاوي مثل اشياء. 41

فصل چهارم : بازیابی اطلاعات و داده کاوی در وب.. 44

مقدمه. 45

موتورهای جستجوگر. 46

ماژولهای موتورهای جستجو. 46

web data mining برای موتورهای جستجو. 47

پویش داده های چند گانه وب.. 48

کاوش متن. 49

کاوش مستقیم روی دادههای غیرساخت یافته. 50

کاوش تصویر. 51

کاوش ویدئو. 52

کاوشAudio :53

کاوش مستقیم داده با فرمت صدا53

کاوش نوع داده ی چند رسانه ای.. 54

سیستم سوال/جواب و داده کاوی وب.. 54

زبانهایMark up و داده کاوی وب.. 55

خلاصه. 56

فصل پنجم : مدیریت اطلاعات و داده کاوی وب.. 57

مقدمه. 58

همکاری بین عاملهای کاوش.. 58

مدیریت دانشها و داده کاوی وب.. 59

مدیریت دانش و داده کاوی وب.. 60

محاسبات بیسیم و داده کاوی وب.. 61

کیفیت سرویس و داده کاوی وب.. 62

اجتماع سرویسهای وب و داده کاوی.. 63

فصل ششم : کاوش الگوهاي كاربردي و ساختار روي وب.. 64

مقدمه. 65

تحليل الگوهاي كاربردي و روندهاي پيشبيني.. 65

خروجيها و تكنيكهاي web usage mining:66

web mining براي e-commerce. 75

كاوش ساختار روي وب.. 76

بازبيني web structure mining. 76

جمع بندی و نتیجه گیری.. 77

گرافیک سه بعدی چیست ؟. 79

کارت گرافیک سه بعدی.. 80

کارت گرافیک سه بعدی.. 83

نتیجه گیری.. 90

مراجع. 91

قسمتی از متن مقاله داده کاوی

پیشگفتار:

در عصر حاضر Web Mining محیط اینترنت جهانی را تبدیل به محیطی کاربردی تر کرده است.که کاربران میتوانند سریعتر و راحتتر اطلاعات مورد نیازشان را پیدا کنند که شامل :کشف و تحلیل داده ، مستندات وmulti media از محیط اینترنت جهانی میباشد ,Web Mining از جزئیات سند ومحتویات سند و ساختار Hyper Link برای کمک به کاربر جهت مشاهده اطلاعات مورد نیازش استفاده میکند.

وب و موتورهای جستجو خودشان شامل اطلاعات ارتباطی درباره ی مستندات هستند و Web Mining این ارتباطات را کشف میکند و به سه بخش تقسیم بندی مینماید.

- در اولین بخش Web Content Mining، موتورهای جستجو محتویات را با کلمات کلیدی تعریف میکنندومی شناسند.پیدا کردن کلمات کلیدی محتوا و پیدا کردن یک ارتباط بین محتوای صفحه ی وب و محتوای سوال کاربر، Content Mining گفته میشود.

- Hyper Linksاطلاعاتی را درباره ی سایر مستندات روی وب که در سند دیگری مهم هستند تهیه میکند.این لینکها عمقی را به سند اضافه میکنند و حالت چند بعدی که از خصوصیات وب است ایجاد میکنند. کاوش این ساختار لینک دومین بخش یعنی Web Structure Mining است.

- در نهایت ارتباطی با سایر مستندات روی وب که بوسیله ی جستجوی قبلی شناخته شده اند، وجود دارد. این ارتباط در صفحه های جستجو (log) و دستیابی ذخیره میشود. کاوش این Log ها سومین بخش یعنی Web Usage Mining را تشکیل میدهد.

درک کاربر اغلب یک بخش مهم از Web Mining است. تحلیل جستجوهای قبلی کاربر ،شکلی که کاربر ترجیح میدهد اطلاعات پیدا شده را ببیندو سرعت در پاسخ ممکن است در پاسخ دادن به پرس و جوی کاربر موثر باشد.

Web Mining در ماهیت نظم خاصی دارد.پل زدن بین فیلدهایی مثل اطلاعات بازگشتی ،پردازش زبانهای طبیعی، استخراج اطلاعات ،Machine Learning، پایگاه داده ،داده کاوی ،ذخیره ی داده ، طراحی رابط کاربر و Visual کردن .

تکنیکهای Web Mining کاربردهای عملی در M-commerce ،E-commerce ، E-Government ،E-learning ، آموزش از راه دور ، آموزش سازمانی،تشکیلات مجازی ، مدیریت دانش و کتابخانه ی دیجیتال دارد.

در این تحقیق ما به بررسی جنبه های مختلف Web Data Mining میپردازیم.

 مقاله داده کاوی

فصل اول

داده کاوی و وب

 مقدمه

در این قسمت از تماس و تاثیرWeb data mining روی تکنولوژی­های پشتیبانی صحبت خواهیم کرد. در این فصل یک دید کلی از داده­کاوی فراهم می­سازیم و به توضیح کاربردها و ابزارهای آن می پردازیم. توسط اطلاعات روی وب، امکان استخراج داده و دستیابی به اطلاعات برای کاربران بسیار آسان و مطلوب شده استوعمل جستجو روی اینترنت را برای کاربران خیلی آسانتر خواهد ساخت. بنابراین بهره­های زیادی در Webminnig وجود دارد، از جمله کاوش پایگاه داده­ها روی وب یا کاوش الگوهای مورد استفاده را می­توان نام برد تا اطلاعات مفید برای کاربران تامین شوند .داده­کاوی و وب به عنوان تکنولوژی مستقل در اواسط 1990 توسعه یافت.زمان زیادی از هنگامی که پژوهشگران به صورت جدی شروع به فکر کردن در مورد Webminnig کردند نگذشته است. کارگاه Webminnig در جریان کنفرانس کشف دا نش پایگاه داده در 1999 یکی از اولین تجربه­ها بود.

Stivastava و cooley یک طبقه بندی برای Webminnig تعیین کرده­اند آنها در ابتدا Webminnig را به دو قسمت تقسیم کردند:

بدست آوردن الگوها از داده­های وب

بدست آوردن ثبت وقایع وب

سپس طبقه­بندی به سه قسمت گسترش یافت که شامل Web content mining ، Web usage mining و Web structure mining می­باشد.

Web content mining استخراج داده­ای است که شامل متن، ویدئو و ... روی وب می­باشد. اساساWeb content mining زیر مجموعه داده کاوی می­باشد.

Web usage mining کاوش اطلاعات درباره دسترسی به صفحات وب و شامل تحلیل click stream می­شود.

Web structure mining در مورد کاوش URL ها و دیگر لینک­های وب برای دستیابی به ساختار آنهاست.

طبقه بندی Web mining

Web usage mining برای پشتیبانی E-commerce استفاده می­شود، اینجا دو جنبه وجود دارد: یکی استخراج اطلاعات درباره رقبا و دیگری کاوش اطلاعات مشتریان .

مقاله داده کاوی

کاوش داده روی وب :

کاوش داده روی وب یک چالش اصلی در مواجه با مدیریت داده و همچنین مدیریت اطلاعات وب و Machine learning می­باشد.

داده ها و اطلاعات زیادی در وب وجود دارد ،که استخراج داده ی مفید و مناسب برای کاربران یک چالش واقعی است. هنگامی که کاربران در حال جستجو در وب هستند وب می­تواند کاملا رام باشد و کاربران داده ی مورد نیاز خود را خیلی زود به دست آورند.سوال اینجاست که چگونه این داده به اطلاعات تبدیل می­شود؟ و آیا اطلاعاتی که کاربران بدست می­آورند همان چیزی است که آنها می­خواهند؟ به علاوه راه استخراج اطلاعات ناشناخته گذشته از داده در وب چیست؟ در این قسمت ما به توضیح انواع مختلف web mining مي­پردازیم.یکی از راه حلهای ساده کامل کردن ابزار داده کاوی با خود داده است. این راه حل خوبی است مخصوصا اگر داده درون یک پایگاه داده رابطه­ای باشد. بنابراین یکی از احتیاجات استخراج داده از پایگاه­ داده­های رابطه­ای ،ابزارهای داده کاوی می­باشد. این ابزارها باید واسط وب را توسعه دهند. برای مثال اگر یک interface رابطه­ای آماده شود، ابزارهای کاوش SQL-based می­توانند به پایگاه داده­های رابطه ای متصل شوند.

داده کاوی در وب روی پایگاه داده ی رابطه ایWeb

متاسفانه جهان وب خیلی صادق نیست.بیشتر داده ها ساخت نیافته و نیمه مصنوعی هستند. داده های ویدیویی و تصویری زیادی وجود دارد در صورتی که یک interface رابطه­ای برای همه این پایگاه­ داده­ها ممکن است پیچیده باشد .سوال اینجاست که این چنین داده هایی چگونه ذخیره می­شوند؟ در اصل ما توجه خود را روی استخراج داده­های متنی، عکس ،صوت و تصویر متمرکز می­کنیم. یکی از نیازهای توسعه ابزار، اول کاوش داده­های چند رسانه­ای و سپس متمرکز شدن بر توسعه ابزارهای استخراج از قبیل داده روی وب هست. جایی که پایگاه داده­های چند رسانه­ای ابتدا یکی شده و سپس کاوش شده­اند.

 مقاله داده کاوی

داده کاوی چند رسانه ای

در بیشتر توضیحات قبلی بر روی یکی کردن ابزارهای داده کاوی با پایگاه داده­ها روی وب صحبت شد .در اغلب اوقات داده های روی وب درون پایگاه داده­ها قرار ندارند و بر روی server های متفاوتی موجودند. بنابراین تلاش بر سر سازمان دهی داده ها روی این server ها انجام میگیرد. تکنولوژی انبار داده ممکن است به سازمان دهی داده ها برای کاوش نیاز داشته باشد.برای آسان شدن کاوش، کار اندکی در مرتب کردن تکنولوژی انبار داده روی وب وجود دارد

انبار داده و کاوش در اینترنت

مورد دیگری که باید توجه شود تجسمی از داده روی وب است. بیشتر داده ها سازماندهی نشده­اند و درک آنها مشکل است. به علاوه درک عمل استخراج با تجسم کردن آسان­تر می­شود. بنابراین توسعه ابزار تجسمی مناسب برای وب، داده­کاوی را خیلی آسانتر خواهد کرد. این ابزار تجسمی می­تواند به فرایند کاوش کمک کند

داده کاوی و visualization در اینترنت

اخیرا استانداردهای گوناگون به وسیله سازمانهای مانند ISO سازمان استاندارد جهانی W3C و OMG برای دستیابی داده های اینترنتی ایجاد شده­اند .این استانداردها شامل مدلها، زبانهای خاص و معماریهاست. یکی از آنها XML (Extensible markup language) برای نوشتن نوع Document .که اجازه می­دهد Document به وسیله اشخاصی که آن را دریافت می­کنند ترجمه شود. ارتباط بین Data minig و استانداردها مثل XML غیر قابل کشف هست. هر چند در نهایت تکنولوژی های متعددی باید با هم کار کنند تا به صورت موثری باعث داده کاوی روی وب شوند. این شامل کاوش روی داده ی چند رسانه­ای، استخراج ابزارها برای پیش بینی تمایلات و فعالیتها روی وب همانند تکنولوژی­های برای مدیریت داده، انبار داده و تجسم آنهاست.

الگوهای USAGE MINING :

جنبه­هايى دیگر کاوش روی وب، جمع­آوری آمارهای گوناگون برپایه الگوهای مرسوم برای تعیین اینکه کدام صفحه وب احتمالا دستیابی شده است. جستجو دراین قسمت به وسیله گروه­های گوناگون هدایت می­شود.

براساس الگوهای مرسوم کاربران مختلف، پیشگویی و تمایلات مربوط به صفحات وب احتمالی که کاربران خواستار جستجو درآن می باشند ساخته می­شوند، براساس این اطلاعات راهنمایی­هایی به کاربر راجع به صفحات وبی که درحال جستجو است داده شود

تحلیل الگوهای بکار رفته و پیش بینی رفتارها

همچنین استخراج فقط برای دادن اطلاعات انتخابی به کاربر می­تواند استفاده شود. برای مثال اکثر ما روزانه با پیام­های ایمیل مواجه می­شویم.بعضی از این پیام­ها مناسب کار ما نیست .ابزارهایی میتوانند برای دورانداختن این پیامهای نامناسب به وجودآیند. این ابزارها می­تواند، ابزارهای ساده filtering يا ابزارهای پیشرفته data mining باشد.

به طور مشابهی، ابزارهای data mining همچنین برای نمایش آن صفحاتی از وب که برای کاربران جالب است مي­توانند استفاده شوند.

 مقاله داده کاوی

Web Structure Mining

Web Structure mining اساسا در مورد استخراج لینک­ها روی وب است و وابستگی نزدیکی به Web usage mining دارد. برای مثال آگاهی دادن به کاربران در مورد browsing شامل هر دو (Web struct/usage mining) می­شود. استخراج لینک­ها برای تعیین جایی که کاربر در آن است و صفحه­ای که کاربر می­تواند به آن دسترسی داشته باشد نیاز است. Web Structure mining در موتورهای جستجوگر مثل گوگل استفاده می­شود، برای مثال لینک­ها استخراج می­شوند و سپس یکی از آنها می­تواند تعیین کننده صفحۀ وبی باشد که به آن اشاره شده است. هنگامی که شما یک رشته کلمه را جستجو می­کنید در ابتدا صفحات وبی با بیشترین مقدار لینک اشاره شده به آن رشته لیست می­شود.

Web Structure mining اساسا در مورد استخراج گراف­ها و کشف الگوهاست. و می­تواند از تکنیک تجزیۀ لینک­ها برای کشف الگوها در گراف­ها استفاده کند.

کاوش الگو

در جهان واقعی گراف­ها ممکن است کاملا پیچیده باشند، بنابراین به استخراج الگوهای خلاصه نیاز داریم.

در خواستها و جهت­ها:

یکی از کاربردهای عمده Web mining در تجارت الکترونیک است. شرکت­ها خواستار داشتن تحریکات رقابتی و راه­های جستجوی زیادی برای داد و ستد­های موثر هستند.

مشتریان می­توانند محصولاتی از قبیل: کتاب، لباس، اسباب­بازی را از طریق این سایت­ها سفارش دهند. هدف فراهم کردن بازاریابی است. برای مثال گروه A ممکن است رمان­های ادبی را برگزینند در حالی که گروه B رمان­های پلیسی را می پسندد. بنابراین رمانهای ادبی جدید باید برای گروه A در معرض فروش قرار بگیرند و رمانهای پلیسی جدید برای گروه B. چگونه سایت­های تجاری این سلیقه­ها و مزیت­ها را می­دانند؟ جواب این سوال data mining است، الگوهای کاربردی باید استخراج شوند. بعلاوه سازمانها ممکن است پایگاه داده های عمومی یا خصوصی را برای بدست آوردن اطلاعات اضافی در مورد این کاربران کاوش کنند. اساسا چیزی که از کاوش الگوهای کاربردی به دست می­آیدگرد هم آمدن هوشمند و بهبود سایت­ها تجاری است.

مقاله داده کاوی

وب کاوی در E-Commerce

Web miningهمچنین برای تولید سرگرمی روی وب می­تواند استفاده شود.

خلاصه:

در این فصل ابتدا قسمتهای مختلف Web Mining راتوضیح دادیم. بعد به برخی از چالشها در کاوش پایگاه داده­ها در وب پرداختیم و بعد از آن نتیجه را روی Web usage mining توضیح دادیم. سپس به تشریح کاربردهای مهم در تجارت الکترونیک پرداختیم Web mining هنوز یک محیط جدید وابسته است و هنوز پژوهشهای فعالی در این زمینه وجود دارد.

به عنوان تکنولوژی وب و تکنولوژیdata mining ما می­توانیم از ابزارهای خوبی برای توسعه استفاده کنیم. با یک اشاره سریع، در حال حاضر بسیاری از ابزار و data mining روی پایگاه داده­های رابطه ا­ی کار می­کنند. اگر چه بسیاری از داده ها روی وب نیمه ترکیبی و غیرساخت یافته هستند. بنابراین ما به توجه و تمرکز روی استخراج متن و دیگر انواع پایگاه داده­های غیر رابطه­های احتیاج داریم. موفقیت در زمینه Web mining مشکل خواهد بود مگر اینکه پیشرفت­هایی در این زمینه به وجود آید. همانطور که اشاره شد برای کاوش موثر ما به داده های خوب نیازمندیم.

بنابراین برای رسیدن به نتیجه معنی داری از Web mining احتیاج به داشتن داده های خوب روي وب داریم، یعنی مدیریت موثر داده های وب برای Web mining حیاتی است. خیلی موارد برای این مدیریت وجود دارد. اخیرا راه­هاي متفاوتي براي آن پیشنهاد شده برای مثال مراجعه شود به (IEEE98). با مدیریت داده در وب و تکنولوژی در حال رشد data mining، می­توانیم انتظار پدید آمدن ابزارهای Web mining را داشته باشیم.