close
تبلیغات در اینترنت
دانلود فایل-a (3)- دانلود نمونه پایان نامه

خانه | پست الکترونیک | آرشیو

دانلود فایل های آموزشی

دانلود نمونه سوال فايل هاي آموزشي و پژوهشي نقد و بررسي مظالب دانشگاهي پروژه هاي دانشجويي تحقيق و مقاله


دانلود فایل-a (3)- دانلود نمونه پایان نامه

برای دیدن پایان نامه اینجا کلیک کنید

   

پیشرفت ها در مهندسی نرم افزار
تحلیل تاثیر تکنیک های استخراج داده بر پایگاه داده ها
چکیده مقاله:
در جامعه ی اطلاعاتی امروز شاهد روند رو به رشد شرکت های الکترونیکی و ذخیره سازی اطلاعات آنها در پایگاه های داده ای بزرگ هستیم. استخراج داده سبب دانش افروزی میشود. استخراج اطلاعات میتواند مفاد بارزشی از پایگاه داده ها آشکار کند که به دانش افروزی و بهبود تجارت هوشمند کمک میکند. در این مقاله به این موضوغات می پردازیم که تکنیک های استخراج داده ای چه تاثیری بر سیستم های پایگاه داده ای دارند، چگونه میتوان با استفاده از آنها به اطلاعات مورد نظر دست یافت، به چه ابزارهایی برای استفاده از آنها نیاز است، طرفداران و منتقدان اصلی آنها چه کسانی هستند. با تمامی این تفاسیر برآنیم تا نشان دهیم چگونه میتوان تکنولوژی استخراج داده ای را در تکنیک های آن گنجاند.
1-مقدمه:
در سال های اخیر استخراج داده به تکنیک بسیار معروفی برای استخراج اطلاعات از پایگاه داده در حوزه های مختلف مبدل شده است که به عوامل گوناگونی من جمله قابلیت دسترسی کاربران به آن و نتایج نشان دهنده آن بستگی دارد. استخراج داده به معنای جستجوی اطلاعات بارزش در حخم وسیع داده ها میباشد.با افزایش دسترسی به پایگاه های داده ای با ساختارهای مشخص، نیاز به تکنیک های استخراج داده که برای این ساختارها طراحی شده اند نیز بیشتر میشود. به جهت کیفیت بهتر نرم افزار، مهندسان نرم افزار الگوریتم های بسیار ی را برای وظایف مهندسی نرم افزارهای مختلف بکار میبرند. دستیابی سریع تر و بهتر به پایگاه داده ها، تحلیل و درک نتایج و همچنین ذخیره سازی داده ها که از حیطه ی توانایی افراد خارج است، دانشمندان و محققان را ترغیب نموده است تا در کشف و ابداع فیلدهای خاش اکتساب دانش در پایگاه های داده ای حرکتی صعودی و روزافزون داشته باشند. حجم اطلاعاتی بالا و عدم توانایی برای درک و فهم فرآیندهایی که سبب ایجاد آنها شده اند باعث استفاده از تکنیک های استخراج داده ای میشود که به این طریق میتوان الگوهای ساختاری گوناگون با مطالب مفید را از پایگاه داده ای استخراج نمود. پایگاه های داده ای بسیار بزرگ هستند و استخراج داده از آنها برای مجموعه های بزرگ بسیار مهم و در عین حال جالب توجه میباشد. با این حال هنوز نمی دانیم از کدام پایگاه داده و از کدام تکنیک استخراج داده ای استفاده کنیم که بهترین نتیجه حاصل شود. در این مقاله به تکنیک های استخراج داده با توجه به نوع پایگه های داده ای متفاوت می پردازیم. شاید کار ما بیشتر شبیه به تحقیقی مقایسه ای از پایگاه های داده ای گوناگون بنظر بیاید که چگونگی استفاده از تکنیک ها یاستخراج داده نیز در آن بیان شده است. علیرغم تاثیر قابل توجهی که استخراج داده ها بر تحلیل داده ها دارد، اگر بتواند سیستم های داده ای سنتی را نیز با خود همراه ساخته و در راستای اهداف خود قرار دهد، آن هنگام است که به تکنولوژی ویژه ای مبدل میشود. این امر از آن جهت حائز اهمیت است که تحلیل داده ای بایستی از حیث مسائل مدیریتی و تمامیت داده ای قابل استناد و موثق باشد. بنابراین میتوان گفت یکی از چالش های اصلی در این راستا ترکیب تکنولوژی استخراج داده ای با چهارچوب های کاری سیستم های سنتی می باشد. تاکنون محققان تلاش کرده اند تا ازین تکنیک به روشی مناسب جهت رسیدن به نتایج مطلوب در تکنولوژی استخراج داده ای استفاده کنند. در این مقاله به چندین مورد استخراجگر داده ای من جمله IBM DB2، SQL Server، MYSQL و ORACLE اشاره نموده و هر کدام را به تفصیل مورد بررسی قرار داده ایم.
2.ارائه ی مدل های استخراجی در پایگاه داده ها
میتوان استخراج داده ای را به این صورت تعریف نمود: فرآیند کشف اطلاعات مفیدی بالقوه و مخفی شده در پایگاه های داده ای بسیار بزرگ. پیشرفت هایی که در زمینه ی استخراج داده ای انجام شده اند، اجرای چندین عملیات استخراج داده ای را بطور کافی در پایگاه های داده ای بسیار بزرگ ممکن نموده است. درحالیکه این مساله بخش مهمی می باشد اما نبایسی هدف اصلی استخراج داده ای که همانا به طرح مدل های استخراج داده توسط برنامه نویسان این حوزه است را از یاد ببریم.(برای مثال دسته بندی تصمیم گیری به روش درختی، مدل بازگشتی، تقطیع) . چراکه آنها ازین مدل ها برای تحلیل و پیشگویی داده ها وکاربرد های بسیار دیگر بهره میبرند. با دانستن این مطلب اکنون میدانیم که جنبه ی کلیدی و مهم ترکیب تکنولوژی استخراج داده ای با سیستم های داده ای این است که چگونه با آنها همچون موضوعات بکر و دست اول پایگاه های داده ای برخورد کنیم. متاسفانه با همه ی این تفاسیر هنوز استخراج داده ای همچون دور افتاده است که با سیستم های داده ای بطور کامل ترکیب نشده است. بخاطر داشته باشید که مدل استخراج داده ای از طریق بکار بردن الگوریتم های استخراج داده ای بر مجموعه داده های آموزشی حاصل میشود. چگونگی فعالیت استخراج داده ای در تصویر 1 نشان آمده است. این تصویر فرآیند استخراج داده ای را به روشی سیستماتیک نشان میدهد.

شکل 1:ارائه فرآیندهای داده کاوی در پایگاه های داده
3.IBM DB2
این برنامه عاملیت استخراج داده را در نسخه های بالای پایگاه داده ای DB2 ارائه میکند. تکنولوژی استخراج داده با استفاده از IBM به شما امکان این را میدهد تا : سوئ استفاده و کلاه برداری را شناسایی کنید، مانع بهم زدن مشتریان شوید، مشتریان خود را طبقه بندی کنید و بسادگی تحلیل سبد بازاری انجام دهید. استخراجگر داده ای هوشمند در اینجا برای فراهم نمودن عاملیت استخراج داده ای ارائه شده است. تصویر 2 مدل تعاملی ساده ی استخراجگر هوشمند IBM DB2 را نشان میدهد. ویرایش انبار داده ای IBM DB2 شامل ویژگی های زیر میشود:
عملکردهای استخراج داده در استودیوی طراحی ویرایش انبار داده ای DB2
عملکردهای استخراج داده در کنسول مدیریتی ویرایش انبار داده ای DB2
استخراجگر هوشمند با قابلیت استخراج داده ای آسان
استخراجگر هوشمند با قابلیت مدل سازی
استخراجگر هوشمند با قابلیت رتبه بندی
استخراجگر هوشمند با قابلیت تصویرسازی
در برنامه ی DB2 برای استخراج داده استخراجگر خاصی به نام استخراجگر هوشمند تعبیه شده است که عملکردهای زیر را انجام میدهد:
3.1:استخراجگر هوشمند DB2 با قابلیت مدل سازی:این برنامه میتواند مدلسازی تکنولوژیکی انجام دهد. باعث به راه اندازی برنامه ی SQL میشود و ازین طریق دسته بندی، طبقه بندی، و انتقال عملیات برگشتی مربوطه را انجام میدهد که همین امر سبب ایجاد مدل های تحلیلی میشود که در نسخه ی 8.2 این برنامه و یا نسخه ی 8 برنامه SQL موجودند. با بکارگیری برنامه ی SQL میتوانیدبراحتی
وابسته سازی کنید، دسته بندی و طبقه بندی درختی انجام دهید و انتقال مدل های برگشتی PMML را اجرا کنید. تمامی این امکانات در جداول DB2 ذخیره سازی شده اند.
3.2:استخراجگر هوشمند DB2 با قابلیت رتبه بندی:این برنامه قادر است رتبه بندی تکنولوژیکی انجام داده و برنامه های کاربردی دیگر را فعال میکند تا مدل های زبان قالب بندی یا حفظ اطلاعات در پایگاه های داده ای بسیاربزرگ، زیرمجموعه های پایگاه های داده ای، ردیف ها یا موارد تکی بکار ببرد. برنامه های کاربردی که از SQL API استفاده میکنند، عملکردهایی دارند که کاربر به صورت خودکار میتواند آنها را تعریف کند (UDFs) و همچنین دارای روشهایی برای رتبه بندی اطلاعات است که کاربر میتواند آنها را خود تعریف کند (UDMs). این برنامه شامل JAVA BEANS نیز میشود که به شما امکان رتبه بندی ضبط یک داده ی تکی در JAVA را میدهد. ازین کاربرد میتوان در ربنامه های تجارت الکترونیک عظیم استفاده نمود. مثل مشخص نمودن زمان واقعی رتبه بندی در سیستم های مدیریتی که با مشتری در ارتباط است. تصویر 3 نمایانگر ویژگیهای این استخراجگر هوشمند در محیط تجاریست.
3.3:استخراجگر هوشمند DB2 با قابلیت تصویرسازی: این برنامه امکان تصویرسازی وابستگی، طبقه بندی، دسته بندی و تحلیل نتایج را فراهم میکند. این استخراجگر عملکردهای استخراج داده ای را بهمراه الگوریتم های مربوطه آن برای ایجاد و ذخیره سازی مدل های استخراجی در پایگاه داده ای DB2 فراهم میکند. با پیدا کردن مدل های استخراج داده ای که با این برنامه ایجاد شده اند در PMML و وارد نمودن فایل PMML د رپایگاه داده میتوان این مدل ها را انتقال داد. استفاده از رتبه بندی به این روش شامل مراحل زیر میشود:
وارد نمودن مدل استخراج داده در جدول DB2.(یعنی همان جاییکه حجم وسیعی از آن ذخیره شده است.)
بکارگرفتن مدل برای داده هایی که در جداول DB2 ذخیره شده اند
ذخیره سازی نتایج حاصل از استخراج داده در جداول DB2
تحلیل و بررسی نتایج برای بدست آوردن اطلاعات مورد نیاز از یافته های جستجو که در جداول ذخیره شده اند.
4.Microsoft SQL Server
شرکت مایکروسافت خدمات بسیاری را در سرور SQL خود برای پشتیبانی از استخراج داده ها ارائه میکند. استخراجگر SQL یک مجموعه از الگوریتم های یادگیری ماشینی است که داده هارا برای الگوها جستجو میکند. وقتی جستجو به پایان رسید ازین الگوها میتوان استفاده ی بهتری نمود به این ترتیب که برای الگوریتم های جدید نیز الگوریتم های قبلی آنها را بکار برد. این سرور خدمات بسیاری دارد که میتواند اجزای لازم و ضروری برای استخراج داده را مشخص کند.
4.1:خدمات تحلیلی:این جزئ تنها جزیی است که بایستی بر روی سیستم نصب گردد.در صورتیکه مایل به استخراج داده ای برخلاف نسخه ی قدیمی آن (2000) هستید بایستی این جزئ را نصب نمایید.
4.2:خدمات گزارشی: درصورتیکه میخواهید کارهایی را که برخلاف مدل های استخراج داده ای تان است گزارش کنید بایستی این قسمت نصب شود.

شکل2:پایگاه اطلاعات IBM DB2

شکل 3: ویژگی پایگاه داده در محیط کسب وکار
4.3:خدمات پایگاه داده ای SQL:اگ تمایل دارید تا از SQL به عنوان منبع داده یا نمونه های استخراج داده ای استفاده کنید و یا نسخه های آموزشی آن را داشته باشید بایستی تنها موتور مربوطه ی SQL را نصب کنید.(برای دانستن چگونگی استفاده از مدل های استخراج داده و خدماتی که در پایگاه داده ای SQL در اختیار شما قرار گرفته اند.)
4.4:خدمات ترکیبی سرور SQL:نصب SSIS باعث نصب خدمات SSIS روی سیستم شما میشود. با نصب آن میتوانید بسته های برنامه ریزی شده را اجرا نمایید.اگر مایل به استفاده از عملکردهای استخراج داده ای ترکیبی هستید آن را روی سرور خود نصب کنید.
4.5:اجزای ایستگاه کاری:این برنامه را روی هر سیستمی که نصب کنید مدل های استخراجی ایجاد میکند، باعث صحت اعتبار گزارشات میشود، بسته های SSIS و یا مدیریت خدمات تحلیلی را نیز انجام داده و به آنها اعتبار میبخشد. اجزای ایستگاه کاری زمانی به خوبی کار میکند که بر سیستمی مشابه سیستم مثل سرور نصب گردد.
4.6:خدمات پیشرفته:برای نصب کلیه ی پایگاه های داده ای نمونه و خود نمونه ها کافیست تا روی دکمه ی پیشرفته (Advanced9 کلیک کنید. تمامی نمونه ها روی سیستم شما نصب خواهند شد. سرور SQL 2005 ، شامل مجموعه ی کاملی از 9 الگاریتم است که تیم استخراج داده ای سرور SQL با همکاری تحقیقات شرکت مایکروسافت آن را تولید و عرضه نموده اند. این 9 الگاریتم به این شرح میباشند:تصمیم گیری های درختی، دسته بندی، مدت های زمانی، قوانین وابستگی، دسته بندی متوالی، بایس ساده، شبکه ی عصبی، بازگشتی خطی، بازگشتی منطقی.
5.MYSQL
این برنامه مکمل ORACLE است. همچون منبع داده ای باز، به کاربران اجازه ی سفارشی سازی نیازمندیهای شان را میدهد.این برنامه همچنین از بسیاری لز برنامه های تعبیه شده میدهد. MYSQL خدمات استخراج داده ای درونی ندارد. در نتیجه برای استفاده از خدمات آن به ابزاری خارجی نیاز است. هرگونه ابزاری که بتواند از منبع داده ای ODBC-JDBC بهره برداری کند در MYSQL قابل استفاده خواهد بود. در زیر به برخی از ابزارهای استخراج داده ای در MYSQL اشاره نموده ایم.
5.1:DBMyne 2008: یک نرم افزار استخراج داده است. در حوزه ی وسیع استخراج داده، این نرم افزار تحلیل مکعبی تصمیم را مورد توجه خود قرار میدهد.استفاده از این نرم افزار آسان بوده و به شما کمک میکند تا داده های موجود و ذخیره شده در سیستم خود را براحتی تحلیل کنید.
5.2:نسخه ی 6.0.1 ابزار Query 2005: یک برنامه ی استخراج داده ای بسیار قدرتمند است. با این برنامه میتوانید داده ها را در هر پایگاه داده ای SQL تحلیل کنید. بیشتر مورد استفاده ی کاربران غیرحرفه ای قرار میگیرد زیرا برای کار با آن به مهارت SQL نیاز نبوده و بیشتر اعمال آن با داده ها انجام میشود.
5.3:نسخه ی 1.5MyLobEditor : ابزار پایگاه داده ای میباشد که کمک میکند DBA و برنامه ریز پایگاه داده ها مستقیما داده ها را ویرایش نموده و داده های LOB را وارد یا خارج نمایند. دو ویژگی اصلی دارد: 1.داده های LOB را مستقیما ویرایش میکند. 2.داده های LOB را دسته بندی و به صورت خودکار وارد یا خارج میکند.
5.4:نسخه ی 1.1 DBF-to-MySQL: برنامه ای برای انتقال داده های DBF در سرور MySQL میباشد که دارای ویژگیهایی مهمی مانند: 1.تمامی انواع داده در آن پشتیبانی میشوند. 2.در تمامی نسخه های Unix و MySQL قابل استفاده است. 3.داده های
Dbf را در پایگاه داده ای MySQL موجود ادغام میکند. میباشد.
5.5:MySQL to Access:یک برنامه ی کاربردی تبدیلی است که داده های MySQL را به Access تبدیل میکند.
پایگاه داده ای MySQL به دلیل عملکرد بالای آن،مقبولیت آن و استفاده ی آسان از آن به محبوب ترین پایگاه منبع داده ای در جهان مبدل گشته است. همچنین انتخاب اول برنامه های جدیدی همچون Linux، Apache، MySQL، PHP، Perl،Python میباشد. بسیاری لز سازمان های جهانی که بسرعت رو به رشد هستند مثل Facebook، Google، Adobe، Alcatel Lucent،و Zappos برای صرفه جویی در وقت و هزینه با تکیه بر MySQL وبسایت های حجم بالای خود را تقویت میکنند
6.پایگاه داده ای ORACLE:
این برنامه بازترین، کامل ترین و یکپارچه ترین شرکت مدیریت محتوا را ارائه میکند که بوسیله آن هم میتوانید برنامه های تصویرسازی با حجم بالا و هم برنامه های تحویلی با عملکرد بالا را بسازید. در این برنامه قسمت خاصی وجود دارد که به شما امکان بهترین عملکرد را از داده های انبارشده و اینترنتی میدهد. در واقع این برنامه بسته ای کامل شامل سرورها، مکان های ذخیره سازی، شبکه سازی، و نرم افزاری است. استخراج داده ای ORACLE استخراج داده را در پایگاه داده های خود تعبیه کرده است و نیاز نیست تا داده ها برای تحلیل به فیلد دیگری انتقال یافته و دوباره برای ذخیره سازی به آن بازگردند. داده ها از پایگاه داده خارج نمی شوند، بلکه درون فایل های آن آماده میشوند، مدل سازی میشوند، رتبه بندی میشوند و در نهایت تحلیل داده ای نیز صورت میگیرد. این امکان باعث میشود که زیرساختی برای برنامه نویسان ایجاد شود تا استخراج داده را با برنامه های کاربردی پایگاه داده ای ادغام نمایند. ODM نرم افزاری است که برای پشتیبانی از استخراج داده ی محصول در پایگاه داده ی ORACLE ایجاد شده است. استخراج داده ی محصول برای برنامه های کاربردی مناسب است که به حل مشکل می پردازند. این امر بدین معنی است که برای هر مشکل شما راهکاری میتوان در آن یافت.
6.1:واسط های برنامه ریزی استخراج داده در ORACLE:
ODM استخراج داده ای را با پایگاه داده ای ORACLE ادغام نموده و استخراج اطلاعات را از طریق واسط هایی که در ادامه به آنها اشاره شده است به معرض نمایش میگذارد. 1)واسط JAVA: به کاربران امکان تعبیه استخراج داده را در برنامه ی کاربردی JAVA میدهد. 2)انتقال استخراج داده ی dbms و استخراج داده ی dbms: به کاربران امکان تعبیه استخراج داده را در برنامه ی کاربردی PL/SQL میدهد.
6.2:عملکردهای استخراج داده ODM:
عملکردهای استخراج داده بر مبنای دو نوع یادگیری است: نظارتی(مستقیم) و غیرنظارتی(غیرمستقیم).عملکردهای یادگیری نظارتی نوعا برای پیش بینی یک مقدار بکار رفته و از آنها بعنوان مدلهای پیشگویانه یاد میشود. عملکردهای یادگیری غیرنظارتی نوعا برای یافتن ساختار،روابط، و یا وابستگی اصلی در داده ها مورد استفاده قرار میگیرد.از این نوع گاهی با نام مدل های توصیفی نیز یاد میکنند. در جدول 1 برخی از عملکرد ها و الگوریتم های مربوطه ی آنها به شرح آورده شده اند.
جدول1: خلاصه ای از توابع و الگوریتم DBMS-DB
عملکرد پایگاه داده الگوریتم پایگاه داده
طبقه بندی الگوریتم پیش فرض NB
شبکه تطبیقی Bayes (ABN)
ماشین بردار پشتیبانی(SVM)
رگراسیون ماشین بردار پشتیبانی (SVM)
انجمن قوانین انجمن(AR)
خوشه k-Means (KM(
استخراج ویژگی تجزیه ماتریس غیر منفی(NMF)
6.3:استخراجگر داده ای ORACLE:
استخراجگر داده ای ORACLE ابزار قدرتمندی است که مجهز به ابزارهای جانبی RDBMS میباشد راهی سریع و آسان برای دسترسی به برنامه های BI که بر مبنای داده های ذخیره شده در RDBMS میباشند فراهم می آورد. در تصویر 4 تمامی اطلاعات مربوط به این قسمت به شرح آورده شده است. ORACLE دو ابزار کمکی تحلیل برای استخراج داده ارائه نموده است: استخراجگر داده ی ORACLE و صفحه گسترده ی ORACLE که برای تحلیل پیشگویانه بکار میرود. استخراجگر داده ی ORACLE واسط کاربری نموداری است که برای استخراج داده از ORACLE مورد استفاده قرار میگیرد. پنجره های جادویی تعبیه شده در آن امکان داده سازی، استخراج داده، ارزیابی مدل و فرآیند رتبه بندی داده ها را یرای کاربران آسان کرده است. این برنامه را میتوان بر سیستم عامل Windows 2000، Windows XP، و Linux نصب نمود و از امکانات آن بهره مند شد. این استخراجگر که در تصویر 5 نشان داده شده است به جهت پشتیبانی از استخراج داده ها در پایگاه داده ای oracle طراحی شده است. کاربران میتوانند بطور همزمان به چند قسمت دسترسی داشته و مدلسازی نیز بطور همگامسازی شده در واسط PL/SQL و یا JAVA امکان پذیر است.
************************************* *************************************   نکته مهم : هنگام انتقال متون از فایل ورد به داخل سایت بعضی از فرمول ها و اشکال درج نمی شود یا به هم ریخته می شود یا به صورت کد نمایش داده می شود ولی در سایت می توانید فایل اصلی را با فرمت ورد به صورت کاملا خوانا خریداری کنید: سایت مرجع پایان نامه ها (خرید و دانلود با امکان دانلود رایگان نمونه ها) : elmyar.net *************************************   *************************************     7.مطالعه ی تطبیقی
برمبنای پارامترهای اصلی، تاثیر تکنیک های استخراج داده بر پایگاه های داده ی متفاوت به شرح زیر میباشند:

شکل4:پایگاه داده

شکل 5: پایگاه داده
اولین نکته ای که برای استفاده از یک استخراجگر به ذهن کاربر میرسد، حجم آن میباشد. حجم مورد نیاز برای SQL حدود 048/2 گیگا بایت، برای IBM DB2 برابر 5/1 گیگابایت، برای ORACLE حدود 47/3 گیگابایت و برای MySQL حدود 260 مگابایت (بدون در نظرگرفتن ابزارهای جانبی آن) میباشد.

ارسال شده در جولای 10, 2017


+ نوشته شده در چهارشنبه 15 شهريور 1396 ساعت 21:4 توسط aaaa | | تعداد بازدید : 29

مطالب قبلی

» کسب درآمد از سایتای برون سپاری
» پایان نامه ارشد : جایگاه جا و زمان در فقه و حقوق
» فروش فایل پایان نامه : حقوق متهم در مرحله احضار
» پایان نامه : ارتباط بزه دیدگی با بزهکاری زنان با فرمت ورد
» پایان نامه ارشد: رابطه بزه دیدگی با بزهکاری زنان
» پایان نامه : عملکرد مهاربند کمانش ناپذیر و تعیین پارامترهای عملکرد لرزه ای مورد استفاده استاندارد 2800 ایران -فروش فایل
» کسب درآمد از سایت های برون سپاری (دورکاری) در ایران
» gl/l (1180)
» پایان نامه-45- ریسرچ دانشگاه
» فول تکست-4444- دانلود نمونه پایان نامه

صفحات وبلاگ

منوی اصلی

تبلیغات

دسته بندی خبر ها

نظر سنجی

درباره ی ما


آرشیو

پیوند های وبلاگ

امار وبلاگ

امکانات


Powered By
rozblog.com

کلیه ی حقوق مادی و معنوی وبلاگ postch محفوظ می باشد.