Data Mining & Business Intelligence

التنقيب في المعطيات و ذكاء الأعمال

Data Mining & Business Intelligence
مقارنة لأدوات التنقيب في المعطيات بين مايكروسوفت Microsoft، و أوراكل Oracle، و إي بي إم IBM.

تحدثنا في العددين السابقين عن القصص الأولى للتنقيب في المعطيات كما عرضنا لأهم تجارب وتطبيقات التنقيب في المعطيات من خلال عرض نماذج واقعيّة يجري تطبيقها في العديد من الشركات العالمية الكبرى.
سنقوم في مقالنا هذا بعرض للعلاقة بين التنقيب في المعطيات Data Mining وذكاء الأعمال Business Intelligence، وإجراء مقارنة لأدوات التنقيب في المعطيات التي تقدمها شركات مايكروسوفت Microsoft و أوراكل Oracle و إي بي إم IBM.

ماذا نعني بذكاء الأعمال Business Intelligence؟
تمّ طرح مصطلح ذكاء الأعمال من قبل غارتنر Gartner في نهاية العام 1980. و تمّ تعريفه بأنّه ‘الإجراء الموجّه نحو المستخدم والذي يقوم بالوصول إلى المعلومات و استكشافها، ثم تحليل هذه المعلومات، و تطوير طريقة فهمها، مما يؤدي إلى تحسين طريقة اتخاذ القرارات’.
أصبح ذكاء الأعمال Business intelligenceعنصراً أساسياً في قطاع تكنولوجيا المعلومات. و يعدّ مصطلح ذكاء الأعمال قديماً لكنه كان عاماً أو ذا معنى ملتبس، فلقد كان يستخدم كمرادف لدعم القرار، و التحليل، و مخازن المعطيات. أما الآن فلقد أصبح لذكاء الأعمال تعريف أكثر وضوحاً، وأصبحت له تطبيقات مفهومة بشكل أفضل. فإذا فسّرنا هذا المصطلح بشكل لغوي فهو يعني ببساطة الذكاء في فهم أعمالك، فبإمكانك فهم أعمالك بتحليلك للعمليات التي تقوم بها في عملك.
يمكننا إنجاز تحليل الأعمال عن طريق تجميع المعلومات عن العمليّات التي نقوم بها كالتسويق، و البيع، و أنشطة الخدمات، و سلوك الزبائن كاستجابة لهذه الأنشطة، وسلوك الأنظمة الداخلية لديك، و أنظمة المورّدين كاستجابة لسلوك زبائنك. بعد أن تقوم بتجميع هذه المعلومات (يجب إجراء عملية التجميع هذه بشكل مستمر، وليس لمرّة واحدة فقط) يتم تنظيم و تخزين هذه المعلومات بطريقة تسهل الوصول إليها، و معالجتها، و عرضها باستخدام العديد من التقنيّات كالتقارير، و الاستعلامات، و التحليلات، والـ OLAP، و أدوات التنقيب في المعطيات. في النهاية، يمكن استخدام نتائج تطبيق هذه التقنيات لتحسين العمليّات ضمن أعمالك و بدء دورة تحليل جديدة مرة أخرى.
يمكن لإجراء ذكاء الأعمال إعطاء نتائج مؤثرة، و تفصيليّة. و يمكنك باستخدام تقنيات و إجراءات ذكاء الأعمال جعل أعمالك أكثر تأثيراً و أكثر كفاءةً، كما أنها تزيد إيراداتك، وتقلّص تكاليفك، و تحسّن علاقاتك مع زبائنك و مورّديك.

منصات عمل ذكاء الأعمال
Business Intelligence Platforms
من أجل إيصال ذكاء الأعمال إلى أوسع جمهور ممكن، و الاستفادة العظمى من الفوائد الناجمة عن استخدام التقنيات المتعلقة به، يجب نشره باستخدام بنية تحتيّة مناسبة قادرة على تحقيق إجراءات ذكاء الأعمال التي ذكرناها سابقاً، و دعم مجال التطبيقات المناسبة لكل مستخدم في كل نمط. ولقد سمينا البنية التحتيّة هذه بمنصات عمل ذكاء الأعمال.
يجب أن تتضمّن منصات عمل ذكاء الأعمال التقنيات التالية:
قواعد المعطيات الخاصّة بمخازن المعطيات Data Warehouse Databases: يجب أن يدعم ذكاء الأعمال نمطي قواعد معطيات مخازن المعطيات العلاقاتيّة relational و متعدّدة الأبعاد multidimensional. إضافةً إلى ذلك يجب أن تدعم نماذج التخزين الوصول الشفّاف transparent إلى المعطيات أو القريب من الشفّاف near-transparent وذلك في أيّ مكان يتم تخزينها فيه.
OLAP: يعتبر الـOLAP مكوّناً أساسيّاً ضمن منصّة عمل ذكاء الأعمال. فهو يعتبر التقنية الأكثر استخداماً لإجراء التحليلات. يجب أن تزوّدنا منصة عمل ذكاء الأعمال بإمكانية دعم الـ OLAP ضمن قواعد معطياتها، بالإضافة إلى دالات OLAP وواجهات استخدامها، مع إمكانية بنائها و إدارتها.
التنقيب في المعطيات Data Mining: يجب أن تتضمن منصات عمل ذكاء الأعمال دعماً لتقنيات التنقيب في المعطيات، و بخاصة تلك التي تقدّم لنا مجالاً واسعاً من الخوارزميّات التي يمكنها العمل مع المعطيات الموجودة في مخازن المعطيات.
الواجهات Interfaces: يجب أن تزوّدنا منصات عمل ذكاء الأعمال بواجهات مفتوحة من أجل قواعد معطيات مخازن المعطيات، و الـOLAP، و التنقيب في المعطيات. يجب أن تمتثل هذه الواجهات للمقاييس العالميّة لكي يسهل شراؤها و بناء التطبيقات التي تستخدم تسهيلات منصّات عمل ذكاء الأعمال.
قدرات البناء و الإدارة Build and Manage Capabilities: يجب أن تدعم منصّات العمل إمكانيّة بناء و إدارة مخازن المعطيات. كما يجب أن تتضمّن إمكانيّات البناء القدرة على تنفيذ نماذج مخازن المعطيات، و استحصال و نقل و تحويل و تنظيف المعطيات الموجودة في المصادر العمليّاتيّة، مع إمكانية إجراء عمليّات التحميل الأوليّة و التحديث المتزايد لمخازن المعطيات وذلك اعتماداً على نماذجها. يجب أيضاً دعم مجال واسع من مصادر المعطيات بما فيها قواعد المعطيات، و الملفات، و المعطيات الموجودة في حزم البرمجيّات المعروفة. أما قدرات التحويل فيجب أن تكون قويّة و مرنة. و يجب تحزيم التحويلات المعرّفة مسبقاً. كما يجب أن تكون قابلة للتوسّع من خلال لغات البرمجة. أما إمكانيّات الإدارة فيجب أن تغطي كافّة المصادر و المستخدمين، والمعطيات، و الإجراءات ضمن جميع منصّات العمل.
يوجد العديد من الشركات التي أنجزت منصات عمل ذكاء الأعمال، لكن يمكننا اعتبار شركات: مايكروسوفت Microsoft، و أوراكل Oracle، وإي بي إم IBM الرائدة في هذا المجال.
تمّ بناء منصّة عمل ذكاء الأعمال الخاصة بمايكروسوفت Microsoft اعتماداً على SQL Server. تزوّدنا تقنيات SQL Server بإمكانيّة بناء مخازن معطيات علاقاتيّة أو متعدّدة الأبعاد، و استخدام الـOLAP، كما أنها تحتوي على خوارزميّات متقدّمة في التنقيب في المعطيات، و إمكانيّات بناء و إدارة متقدّمة لمخازن المعطيات. يزوّدنا SQL Server أيضاً بمصفوفة واجهات للتطبيقات مرنة و موسّعة اعتماداً على نموذج المكوّن COM غرضي التوجّه. تمكّننا هذه الواجهات من الوصول إلى جميع مصادر ذكاء الأعمال مع القدرة على تحقيق أيّة متطلبّات للتطبيقات.
أما منصّة عمل ذكاء الأعمال الخاصة بأوراكل Oracle فلقد تمّ بناؤها اعتماداً على الإصدار Oracle 9i (تمّ إجراء العديد من التحسينات على منصة العمل هذه في الإصدار الأخير Oracle 10g). وهي تحتوي على تقنيّات خاصّة بالـOLAP، و التنقيب في المعطيات. و تعتبر الأداة Oracle Enterprise Manager أساسيّة لإدارة بيئة العمل، وهي تحتوي على مجموعة الأدوات DBA، و OLAP. أما الأداة Warehouse Builder فهي إحدى مكوّنات المجموعة Oracle Internet Developer Suite و هي تمكننا من إدارة مصادر مخازن المعطيات العلاقاتيّة، و تصميم نماذج مخازن المعطيات العلاقاتيّة.
أما منصّة عمل ذكاء الأعمال الخاصة بإي بي إم IBM، فتعتمد على برمجيّات إدارة المعطيات DB2. تزوّدنا قاعدة المعطيات العالمية (Universal Database (UDB من DB2 بإمكانيّات العمل مع مخازن المعطيات العلاقاتيّة وإدارتها. أما تقنيّات الـOLAP فيتم تزويدها من خلال الأداة DB2 OLAP Server، وهي إحدى تقنيات DB2 Enterprise Server Edition. أما تقنيات التنقيب في المعطيات فيجري تزويدها من خلال DB2 Intelligent Miner و DB2 OLAP Miner. وقد تمّ تحسين وظائف الإدارة والبناء في DB2 باستخدام Warehouse Manager و DB2 OLAP Administrative Services.
وعلى الرغم من أنّ قطاع الأعمال كان يستخدم تكنولوجيا التنقيب في المعطيات للحصول على ميزات جيدة خلال أعوام عديدة مضت، إلا أنه لم يجرِ تضمين وظائف التنقيب في المعطيات ضمن منصات ذكاء الأعمال إلا مؤخراً. في الماضي، كانت تقنيات التنقيب في المعطيات تعتمد على تحليل عيّنات المعطيات الموجودة في قواعد المعطيات و مخازن المعطيات. لكن هذا التحليل كان مقيّداً بحجم المعطيات الصغير نسبياً والتي بإمكان خوارزميات التنقيب في المعطيات معالجتها. كما أنّه كان مقيّداً أيضاً بتعقيد استخدام تقنيات التنقيب في المعطيات. فلقد كنا بحاجة لخبرة إحصائيّة و خبرة في إدارة قواعد البيانات DBA من أجل استخدام هذه التقنيات بشكل عملي و فعّال. أما اليوم، فإنّ أدوات وتطبيقات ذكاء الأعمال ساعدت على تجريد هذا التعقيد وجعل التنقيب في المعطيات أكثر سهولةً و استخداماً، بالإضافة إلى ذلك لم تعد تقنيات التنقيب مقيّدة بحجوم المعطيات التي تستطيع معالجتها. فقد أصبح بالإمكان جعل كامل مخزن المعطيات دخلاً لأدوات التنقيب في المعطيات.
تتضمّن جميع منصّات ذكاء الأعمال الخاصة بمايكرو سوفت Microsoft، و أوراكل Oracle، و إي بي إم IBM، تقنيات خاصّة بالتنقيب في المعطيات. سنقوم في الفقرة التالية بمقارنة إمكانيّات قواعد المعطيات، و التنقيب في المعطيات الموجودة في الشركات الثلاث الكبرى السابقة.
هرم ذكاء الأعمال Business Intelligence Pyramid
يستخدم مصطلح ذكاء الأعمال كمصطلح عام يدلّ على جميع الإجراءات، والتقنيات، والأدوات التي تدعم نظم اتخاذ القرار المعتمدة على تكنولوجيا المعلومات. يوضح الهرم التالي التموضع المنطقي للتقنيات المختلفة لذكاء الأعمال وفقاً لقيمتها الكامنة كأساس لقرارات الأعمال الاستراتيجيّة و التكتيكيّة.
بشكل عام، تتزايد قيمة المعلومات التي ستدعم اتخاذ القرار ابتداءً من أسفل الهرم وحتى أعلاه. فالقرارات التي تعتمد على المعطيات الموجودة في الطبقات السفلى، حيث تتواجد عادةً ملايين من سجلات المعطيات، ستؤثر على تحويل عميل وحيد فقط. أما القرارات التي تعتمد على المعطيات عالية التجميع الموجودة في الطبقات العليا من الهرم، فستؤثر على أقسام الشركة، و حتى على كامل الشركة. لذلك فإننا نجد عادةً أنماطاً مختلفة من المستخدمين وفقاً للطبقات المختلفة الموجودة على الهرم. يعمل مدير قاعدة المعطيات بشكل أساسي على قاعدة المعطيات الموجودة على مستوى مصادر المعطيات data sources، ومخزن المعطيات data warehouse، أما الأشخاص التنفيذيّين ومحلّلي الأعمال فيعملون على المستويات العليا في الهرم.
ما أنماط التطبيقات التي يفضل استخدام التنقيب في المعطيات ضمنها؟
يجب استخدام التنقيب في المعطيات عندما تحتاج ضمن شركتك للإجابة على سؤال يتعلق بسبب حصول حدث معين، أو كيفيّة تأثير بعض الأعمال ضمن الشركة على قياس الأداء. نوضح فيما يلي بعض تطبيقات الأعمال التي يمكن للتنقيب في المعطيات إضافة قيمة حقيقية إليها:
- التقصير في دفع القروض.
- شراء منتج أو الاستجابة للتنزيلات على المنتجات.
- إلغاء أحدى السياسات.
- كشف عمليّات الاحتيال.
يمكن للتنقيب في المعطيات أن يلعب كذلك دوراً بارزاً في العمليّات المرتبطة بالأداء مثل:
- تحديد فعّاليّة الإعلان و التسويق و الحملات الدعائيّة.
- تسعير المنتجات.
- تحديد فعّالية مركز اتصالات.
- تقييم أداء العاملين.
- تقييم أداء الموردين و البائعين.
- تقييم فعّاليات التصنيع و الإنتاج.
.

بالطبع، يوجد الكثير من محلّلي الأعمال الذين يستفيدون من طرائق التنقيب في المعطيات. فالتنقيب في المعطيات يقلّص من الشكّ الناتج عن إجراء عمل خاص عن طريق تحديد النماذج و علاقات الربط الموجودة بين المتحولات المفاتيح. تزيد بالتأكيد هذه المعلومات من فهم صنّاع القرار عن أسباب حصول أحداث معينّة وتمكنهم من توقّع ما سيحدث في المستقبل.
لكن يجب علينا الانتباه إلى أمر هامّ هنا، و هو أنّ التنقيب في المعطيات غير مناسب لجميع متطلّبات تحليل الأعمال. فصنّاع القرار سيحتاجون و بشكل كبير إلى قوّة مكعّبات OLAP cubes، أو إلى تقاريّر جيدة تستطيع الإجابة على أسئلة الأعمال.
مقارنة لقواعد معطيات ذكاء الأعمال مايكروسوفت Microsoft، و أوراكل Oracle، و إي بي إم IBM
تقدّم الشركات الثلاث: مايكروسوفت Microsoft، أوراكل Oracle و إي بي إم IBM، قواعد معطيات علاقاتيّة كأساس لمنصات ذكاء الأعمال المتعلقة بها. قواعد المعطيات التي تقدمها هذا الشركات هي على الترتيب: Microsoft SQL Server, IBM DB2 Universal Database (UDB)، و Oracle 10g. تقدم قواعد المعطيات هذه جميعها إمكانيّات ممتازة خاصة بمخازن المعطيات العلاقاتيّة، إضافةً إلى إمكانيّات الـ OLAP من أجل مخازن المعطيات، و إمكانيّات التنقيب في المعطيات، وأخيراً إمكانيّات البناء و الإدارة.
بالنسبة لمايكروسوفت Microsoft، فلقد تمّ تضمين جميع مكوّنات منصّة ذكاء الأعمال ضمن قاعدة المعطيات SQL Server 2000. و قد تميّزت قاعدة المعطيات هذه بسهولة الاستخدام مقارنةً مع IBM و Oracle، بالإضافة إلى إمكانيّات البناء و الإدارة، وتحسين الأداء. لكن توجد نقاط ضعف أساسيّة تتعلق بالأداء و التدرجيّة scalability، وقد تمّ إجراء تحسينات على بنية محرك قاعدة المعطيات وإضافة العديد من المزايا المتعلقة بمخازن المعطيات للتغلب على هذه المشكلة.
أما بالنسبة لأوراكل Oracle فلقد اعتمدت على قاعدة معطيات علاقاتيّة و غرضيّة التوجّه، تميّزت بوجود مزايا ممتازة متعلقّة بمخازن المعطيات (خاصّة تلك الموجّهة للتطبيقات النهائيّة) أهمها: وجود مجال واسع لأنماط الفهرسة، و قدرات الربط الغنيّة، و طرق التقسيم partitioning المتعدّدة.
لكن كلّ هذه الميّزات تمّ رزمها و تسعيرها بشكل منفصل عن قاعدة معطيات أوراكل، و هو ما أدى إلى زيادة كلفة استخدام ذكاء الأعمال الخاص بأوراكل.
وأخيراً، فبالنسبة لشركة إي بي إم IBM، فكما ذكرنا سابقاً، اعتمدت على قاعدة المعطيات DB2 Universal Database (UDB)، والتي بإمكانها تقديم دعم كبير لتطبيقات ذكاء الأعمال، و تقديم أدوات إداريّة فعّالة. أما الأداة DB2 OLAP Server فتزوّدنا بقاعدة معطيات ذكاء الأعمال من أجل الـOLAP. وقد اشترت شركة IBM هذه الأداة من شركة هايبريون Hyperion، لهذا السبب لم تكن متكاملة بشكل قوي مع منصة ذكاء الأعمال الخاصة بـIBM. فهي بحاجة لأدوات إدارة وبناء منفصلة غير مدعومة من قبل أدوات التنقيب في المعطيات الخاصة بالشركة.
مقارنة لأدوات التنقيب في المعطيات بين مايكروسوفت Microsoft، و أوراكل Oracle، و إي بي إم IBM
قامت مايكروسوفت Microsoft وابتداءً من الإصدار SQL Server 2000 بإضافة ميّزات التنقيب في المعطيات إلى وظائف رزمة OLAP الموجودة ضمن SQL Server Analysis Services. أما الميّزات التي تمّ تضمينها فهي: التحزيم packaging، والتضمين ضمن منصة ذكاء الأعمال الخاصّة بمايكروسوفت، وبناء النماذج باستخدام المعالجات، و القدرة على التنقيب ضمن معطيات علاقاتيّة، أو OLAP، أو OLE DB خارجيّة. لكن من ناحية أخرى لا تدعم أدوات Analysis Services إلا خوارزميّتين من خوارزميات التنقيب في المعطيات هما: أشجار القرار decision trees، و التجميع clustering. وعلى الرغم من إمكانيّة تطبيق هاتين الخوارزميّتان لحلّ العديد من مشاكل التوقّع prediction،
إلا أنّ إضافة خوارزميات أخرى سيعطي المزيد من المرونة ويوسّع مجال المشاكل التي نستطيع حلّها.
نقطة أخرى نوّد ذكرها هنا هي أنّ الأداة Analysis Services تدعم توصيف لغة تأشير النماذج التوقعيّة
(Predictive Model Markup Language (PMML و التي تساعد على التبادل بين نماذج التنقيب في المعطيات. IBM Intelligent Miner و Oracle Data Mining يدعمان أيضاً PMML.
أما بالنسبة لأوراكل Oracle فلقد بُدىء بنشر إمكانيات التنقيب في المعطيات من خلال الأداة Oracle9i Data Mining. ولقد جرى الاعتماد على تقنية داروين Darwin technology التي قامت شركة أوراكل بشرائها من شركة Thinking Machines في حزيران 1999. تمّ تنفيذ وظائف التصنيف classification، و التجميع clustering، و قواعد الربط association rules، و أهميّة السمات attribute importance باستخدام الخوارزميات: Bayes Network, Naive Bayes, k-Means, O-Cluster, predictive variance, A priori على الترتيب. أما أهم الميزات التي تمّ تضمينها فكانت مكاملة أدوات التنقيب في المعطيات مع قاعدة معطيات أوراكل، و إمكانية استخدام قاعدة المعطيات كدخل، و استخدام واصف المعطيات metadata، بالإضافة إلى المجال الواسع للتوابع و الخوارزميات المضمّنة. لكن من ناحية أخرى هناك العديد من نقاط الضعف المتعلقة بأدوات التنقيب في المعطيات في أوراكل كعدم وجود أداة لإظهار داليّة المعطيات Data visualization functionality، و عدم وجود دعم لإجراء التنقيب في المعطيات، و عدم توافّر أدوات نمذجة مرئيّة Visual modeling tools.
أما بالنسبة لشركة إي بي إم IBM فلقد سبقت شركتي مايكرو سوفت، و أوراكل في الاهتمام بتقنيات التنقيب في المعطيات. و كان إصدارها الأول الخاص بالتنقيب في المعطيات DB2 Intelligent Miner for Data، والذي سُمي فيما بعد Intelligent Miner من أوائل أدوات التنقيب في المعطيات. ولقد احتوى هذا الإصدار على ثلاثة مكوّنات رئيسيّة هي:
DB2 Intelligent Miner Visualization
DB2 Intelligent Miner Modeling
DB2 Intelligent Miner Scoring
يدعم كلّ مكوّن مرحلة أساسيّة ضمن إجراء التنقيب في المعطيات التقليدي. تتركّز قوّة DB2 Intelligent Miner بقوة وعمق خوارزميات التنقيب في المعطيات المستخدمة، و قدرته على تقسيم و تغطية إجراء التنقيب في المعطيات. أما قيوده فتتلخص بتعقيده، و دعمه للدخل العلاقاتي فقط.
يتضمّن DB2 OLAP Server الأداة DB2 OLAP Miner. تقوم هذه الأداة بتطبيق تقنيات التنقيب في المعطيات على الـ OLAP. بشكل أدقّ، فهي تقوم باستخدام خوارزميّة إحصائيّة وحيدة لاكتشاف الخلايا الموجودة ضمن dimension OLAP و التي تحتوي على قيم غير متوقّعة و تقوم بعرضها على المحلّلين بشكل مرئي. يستطيع بعدها المحلّل استخدام تقنيات OLAP التقليديّة لتحديد و فهم أسباب اختلافات القيم. و هذا تطبيق هام جداً في مجال التنقيب في المعطيات، فهو يؤتمت إجراءً هاماً من إجراءات ذكاء الأعمال، و يجعل نتائج هذا الإجراء متناسقة. بالإضافة إلى ذلك، لا تحتاج هذه الأداة إلى خبرة أو مهارة في مجال التنقيب في المعطيات. كلّ ما تحتاجه هو أن تمتلك خبرة باستخدام أدوات الـOLAP.
تمّ طرح DB2 OLAP Server Miner في شهر تشرين الثاني العام 2001. ولقد اعتبر هذا المنتج أحد أقوى المنتجات التي تمّ طرحها، فلقد استخدم العديد من خوارزميات التنقيب في المعطيات المتقدّمة، والتي ميّزته عن تلك التي تمّ طرحها من قبل شركتي مايكرو سوفت و أوراكل. أما سيئاته فتتلخص بعدم قدرته على التنقيب ضمن معطيات الـOLAP، و بكون الأداة DB2 OLAP Miner تمتلك خوارزمية وحيدة للتنقيب في المعطيات

» Data Warehousing and Business Intelligence Courses
» Internet Business Promoter (IBP) 10.0.3 Business Edition
» data abstraction levels in data Base
» C++ for Business Programmers, 2 Ed
» ESET NOD32 Business Edition 3.0.645