داده ها پایه و اساس اطلاعات هستند. ولی این تنها بخشی از داستان است. داده هایی جزئی در مورد یک رویداد یا در باره وضعیت سلامتی یک فرد یا در هر حوزه دیگر شاید به تنهایی دارای ارزش نباشند. بلکه تجمیع، سازماندهی و تجزیه و تحلیل آن ها است که باعث ایجاد ارزش می شود. در عصر اینترنت شرکت های بزرگ فناوری به جمع آوری داده از سرتاسر دنیا می پردازند. داده هایی که مقیاس آن ها در ذهن هم نمی گنجد. داده هایی که امروزه تحت عنوان بیگ دیتا (کلان داده) از آن ها نام می بریم. در این مطلب کلاسیک وب سعی داریم به معرفی بیگ دیتا (Big Data) و کاربردهای آن بپردازیم.

کاربرد کلان داده یا بیگ دیتا در ایران و جهان چیست؟

What Is Big Data Technology?

پیش از این در کلاسیک وب به معرفی VPS یا سرور مجازی و همچنین معرفی آی پی ثابت و نحوه تنظیم آن پرداخته شده است. در راستای معرفی فناوری های مورد استفاده در دنیای امروز، می خواهیم در این مطلب شما را با فناوری داده های عظیم و کاربردهای آن آشنا کنیم. پس با ما همراه باشید.

کلان داده چیست؟

کامپیوترهای شخصی ما قادر به مدیریت حجم زیادی از داده ها هستند. فقط مقدار اطلاعاتی را که می توان در یک صفحه گسترده اکسل جای داد تصور کنید. نرم افزارهای پایگاه داده هم ما را قادر به مدیریت اطلاعاتی بیشتر از این هم می کنند. البته نکته اصلی آن جاست که برای ذخیره همه این اطلاعات تنها به یک هارد دیسک نیاز است. با این حال ابزار و نرم افزارهایی که نام بردیم هم برای نگهداری اطلاعاتی به بزرگی اطلاعات موجود در بیگ دیتا کافی نیستند. بیگ دیتا در واقع به مجموعه عظیمی از داده ها گفته می شود. مقیاس این داده ها به قدری بزرگ است که ابزارهای سنتی ذخیره سازی و تجزیه و تحلیل داده ها قادر به کار با آن ها نیستند. شاید برای روشن تر شدن مفهوم کلان داده ها بهتر باشد که به صورت مختصر به برخی از موارد عینی آن اشاره کنیم:

• توییت های ذخیره شده در سرورهای توییتر
• اطلاعاتی که در گوگل به شیوه های گوناگون جمع آوری می شود
• نتایج آرای انتخاباتی به تفکیک استان و شهر
• اطلاعات مورد نیاز بیمه ها جهت شناسایی مکان درمان هر بیمار
• اطلاعاتی که در هنگام انواع خرید و فروش هایی که از طریق کارت های اعتباری انجام می شود مبادله می گردند

گزینه هایی که ذکر شد تنها گوشه ای از مواردی بودند که به صورت مستقیم یا غیر مستقیم با مبحث کلان داده ها در ارتباط هستند. با این حال در همین چند مورد هم اهیمت و کاربرد کلان داده در دنیای امروز به وضوح مشخص می شود.

تاریخچه کلان داده ها

گرچه مفهوم بیگ دیتا تا حدودی جدید است اما ریشه های آن به دهه های ۶۰ و ۷۰ میلادی باز می گردد. زمانی که دنیای داده ها با راه اندازی دیتا سنترها و توسعه پایگاه داده رابطه ای تازه در حال آغاز شدن بود. حدود سال ۲۰۰۵ داده ها و اطلاعاتی که در سایت هایی مثل فیسبوک، یوتیوب و دیگر سرویس های آنلاین توسط کاربران تولید می شد مورد توجه متخصصان قرار گرفت.

در این اثنا هدوپ که چارچوبی منبع باز برای ذخیره و تجزیه و تحلیل مجموعه داده های بزرگ است ارائه شد. ضمن اینکه مفهوم NoSQL نیز در این سال ها به محبوبیت دست یافته بود. توسعه هدوپ گامی مهم در رشد بیگ دیتا بود زیرا با استفاده از آن کار با بیگ دیتا آسان تر و البته ارزان تر شد.

طی سالیان آتی، با رشد اینترنت اشیا بیش از پیش به اهمیت بیگ دیتا پی برده شد و موارد استفاده آن فزونی یافت. با وجود رشد زیادی که در این چند سال در حوزه بیگ دیتا رخ داده است اما می توان گفت هنوز در ابتدای راه است و توسعه فناوری های همچون محاسبات ابری ادامه راه را برای بهبود و پیشرفت بیگ دیتا بیش از پیش روشن کرده است.

جنبه های بیگ دیتا

در کار با کلان داده ها همواره توجه به سه جنبه زیر از اهمیت فراوانی برخوردار است:

حجم داده ها (Volume)

با بیگ دیتا شما با حجم زیادی از داده های بدون ساختار و با تراکم پایین مواجه هستید. این داده ها می توانند شامل داده هایی با مقادیر نامعلوم مثل داده های توییتر،کلیک های مربوط به یک صفحه وب یا داده های مربوط به یک حسگر باشد. برای برخی سازمان ها این به معنی ده ها ترابایت داده است.

سرعت (Velocity)

سرعت به نرخ دریافت و همچنین در برخی موارد انجام اعمالی بر روی داده ها اطلاق می شود. برای مثال برخی از ابزار هوشمند مبتنی بر اینترنت نیاز به دریافت اطلاعات به صورت بلادرنگ و البته انجام پردازش ها به صورت بلادرنگ دارند.

تنوع (Variety)

این جنبه به انواع داده هایی که در بیگ دیتا مورد استفاده قرار می گیرند اشاره دارد. داده های سنتی اغلب ساختار یافته بودند و در پایگاه داده ای رابطه ای ذخیره می شدند. اما با ظهور بیگ دیتا، داده ها بدون ساختار شدند. داده هایی مثل صدا، متن و تصویر که به پردازش های تکمیلی جهت برداشت معانی خاص از آنها نیازمند هستیم.

علاوه بر این دو جنبه دیگر نیز طی سالیان گذشته مورد توجه قرار گرفته است: ارزش و اعتبار داده ها. داده ذاتا دارای ارزش است. اما تا زمانی که معنی آن کشف نشود به آن درجه از اهمیتی که باید، نمی رسد. با دریافت معنی حقیقی داده می توان ارزش و میزان اهمیت آن را نیز سنجید. امروزه داده های بزرگ به سرمایه ای ارزشمند تبدیل شده اند. به برخی از بزرگ ترین شرکت های فناوری دنیا فکر کنید. بخش بزرگی از ارزشی که آن ها ارائه می دهند مربوط به تجزیه و تحلیل داده هایی است که در اختیارشان قرار دارد. گرچه پیدا کردن ارزش داده تنها وابسته به تجزیه و تحلیل آن نیست. یک داده می تواند از جنبه های مختلف توسط هر فردی با تخصص های گوناگون مورد توجه قرار گیرد. از آنالیزورهای حرفه ای گرفته تا عوامل اجرایی و حتی تیم های بازریابی.

شیوه کار بیگ دیتا

بیگ دیتا به شما دیدگاه جدیدی می دهد که از طریق آن می توانید به کشف فرصت ها و استفاده از بهینه ترین مدل های کسب و کار بپردازید. اما بهره مندی از بیگ دیتا در سه مرحله اساسی انجام می شود:

تجمیع و یکپارچگی داده ها: بیگ دیتا داده ها را از منابع مختلفی جمع آوری می کند. مکانیسم تجمیع داده های سنتی شامل استخراج، انتقال و بارگذاری بود. منتهی برای کار با داده های عظیم نیاز به استراتژی جدیدی است. در طول تجمیع داده ها، شما نیاز به جمع آوری آن ها، انجام پردازش و اعمال فرمت صحیح به آن ها جهت استفاده مناسب برای تجزیه و تحلیل کسب و کار دارید.

مدیریت کلان داده ها: بیگ دیتا نیز به ذخیره سازی نیاز دارد. این کار می تواند در فضای ابری یا فضاهای ذخیره سازی معمول صورت گیرد. شما قادر به ذخیره داده های خود به هر شکلی خواهید بود. بسیاری از مدیران نحوه ذخیره سازی داده ها را بر اساس مکان تجمیع آن ها انتخاب می کنند.

تجزیه و تحلیل داده ها: سرمایه گذاری در حوزه بیگ دیتا زمانی معنا پیدا می کند که با تجزیه و تحلیل آن به دانش مورد نظرتان برسید. استفاده از تجزیه و تحلیل های گرافیکی به ایجاد دیدی هر چه بهتر از وضع موجود به شما کمک می کند. همچنین با استفاده از این کار می توانید به توسعه مدل های داده ای با یادگیری ماشین و هوش مصنوعی بپردازید.

موارد استفاده فناوری داده های عظیم

کاربرد بیگ دیتا در توسعه محصول

شرکت های بزرگی همچون نتفلیکس از بیگ دیتا برای پیش بینی تقاضای مشتریان استفاده می کنند. آن ها از مدل های پیش بینی برای محصولات و خدمات جدید استفاده می کنند. این کار با دسته بندی صفات کلیدی محصولات گذشته و حال و مدلسازی ارتباط بین آن ها و موفقیت تجاری که کسب کرده اند صورت می گیرد.

استفاده از داده های عظیم در بهبود تجربه مشتری

امروزه کسب دیدگاهی واضح تر از تجربه کار مشتریان با محصولات و خدمات گوناگون به لطف بیگ دیتا وجود دارد. شما با استفاده از بیگ دیتا قادر به جمع آوری داده ها از سراسر رسانه ها و شبکه های اجتماعی، صفحات وب و دیگر منابع خواهید بود. این یعنی دسترسی به حجم عظیمی از واکنش ها و عکس العمل های مشتریان در رابطه با یک سرویس و محصول که به تازگی ارائه شده است.

کاربرد بیگ دیتا در بهره وری عملیاتی

بهره وری عملیاتی یکی از حوزه هایی است که به شدت تحت تاثیر بیگ دیتا می باشد. با استفاده از بیگ دیتا شما قادر به آنالیز و ارزیابی تولید، بازخورد مشتری و دیگر عوامل جهت کاهش ضرر و زیان و افزایش رضایت مشتری خواهید بود. بیگ دیتا برای بهبود تصمیم گیری ها در راستای ارضای تقاضای بازار نیز به کار می رود.

اینترنت اشیا و بیگ دیتا

در اینترنتی که امروزه می شناسیم این مردم و در واقع اشخاص هستند که به تعامل با یکدیگر از طریق ابزارهای گوناگون می پردازند. در واقع شما سایت هایی را مطالعه می کنید که فرد دیگری طراحی کرده است یا کلماتی را می خوانید که شخصی دیگر تایپ کرده است. اما اینترنت اشیا جایی است که ابزارها و دستگاه های الکترونیکی دور و بر ما به ارتباط با هم می پردازند. بیگ دیتا و اینترنت اشیا به یکدیگر وابسته اند. ابزارهای مختلفی که در اینترنت اشیا هستند به لطف بیگ دیتا و داده های زیادی که در اختیارشان است می توانند به صورت خودکار به انجام وظایفشان بپردازند. جهت آشنایی بیشتر با اینترنت اشیا می توانید مطلب اینترنت اشیا چیست را در کلاسیک وب مطالعه نمایید.

یادگیری ماشین با استفاده از کلان داده

مبحث یادگیری ماشین از بحث های داغ فناوری در سالیان گذشته است و فناوری داده های عظیم یکی از مهم ترین دلایل آن است. امروزه ما قادر به یاد دادن به ماشین ها هستیم تا کاری را که باید انجام دهند به طور خودکار فرا گیرند و دیگر صرفا نیازی به برنامه نویسی برای آن ها وجود ندارد. مدل های آموزشی که بر اساس بیگ دیتا ارائه شده اند یکی از اساسی ترین پایه های این علم به شمار می روند.

هوش مصنوعی و Big Data

هوش مصنوعی در واقع یک مرحله پس از یادگیری ماشین است در اینجا فقط یک کامپیوتر نیست که در حال یادگیری از طریق داده ها است بلکه این بار استفاده از اطلاعات به دست آمده از داده ها و تصمیم گیری های خودکار مورد توجه است.

کاربرد Big Data در پزشکی

شاید حوزه سلامت آن چنان در حوزه بهره گیری از فناوری ها سریع نباشد. هنوز در بسیاری از بیمارستان ها از کاغذ برای ذخیره سازی اطلاعات استفاده می شود. علیرغم این بیگ دیتا در اینجا هم تفاوت ها را رقم زده است. یکی از فواید استفاده از بیگ دیتا در حوزه سلامت، یکپارچگی است. مثلا بیمه گران به ترکیب داده های به دست آمده از منابع مختلفی چون عمل های جراحی، آزمایش های مختلف و نسخه های پزشکی علاقه دارند. تجمیع داده ها در حوزه سلامت در نهایت منجر به کاهش هزینه ها خواهد شد.

استفاده از بیگ دیتا در حوزه مالی

تصمیمات در حوزه مالی شرکت های بزرگ تماما از طریق آنالیزهای کامپیوتری صورت می گیرد. با استفاده از کامپیوترها می توان به فروش سهام بدون دخالت انسان اقدام کرد یا استراتژی های مالی را تعیین نمود. امروزه متخصصان از بیگ دیتا برای پیش بینی وضعیت بازار سهام استفاده می کنند. بانک ها نیز از آن برای افزایش درآمد خود بهره می برند.

بیگ دیتا در تجارت الکترونیکی و بازاریابی

در هنگام خرید اینترنتی یا خرید با استفاده از کارت اعتباری حجم زیادی از اطلاعات توسط مشتریان تولید می شود. حتی برخی از مغازه ها از دوربین ها یا گوشی های همراه مشتریانشان برای ردیابی فعالیت های آن ها استفاده می کنند تا دریابند که کدام بخش از فروشگاه بیش از همه نظر آنان را جلب کرده است. در هنگام خرید آنلاین مجبور به ایجاد حساب کاربری قبل از انجام خرید هستیم که به مدیران سایت اجازه زیر نظر گرفتن فعالیت ها را می دهد. شرکت های بزرگی همچون گوگل و فیسبوک نیز به لطف اطلاعاتی که از مشتریان خود به دست می آورند به تبلیغات هدفمند برای آن ها می پردازند و از این طریق سود کلانی نصیب خود می کنند. اما همه این اطلاعاتی که به شیوه های گوناگون جمع آوری می شوند نیاز به یک مدیریت صحیح جهت بهره وری دارند که این امر از طریق بیگ دیتا میسر می شود.

وضعیت بیگ دیتا در ایران

خوشبختانه حوزه کلان داده یا همان بیگ دیتا در ایران نیز مورد توجه قرار گرفته است. به طوری که در اسفند سال ۱۳۹۶ گزارشی تحلیلی که حاصل نخستین پیمایش کلان داده ها در سرتاسر کشور بود از سوی وزارت ارتباطات و فناوری اطلاعات با هدف شناسایی وضعیت موجود و نیز چالش های توسعه کلان داده در کشور ارائه شد. بر مبنای این گزارش بازار حوزه کلان داده در ایران نیازمند برنامه هایی چون ارزش گذاری داده ها و اطلاعات، حمایت از داده های شخصی کاربران و رعایت حریم خصوصی آن ها، حمایت از مراکز نوآوری، تربیت نیروی متخصص در این حوزه و در نهایت بومی سازی و توسعه سکوهای پردازشی کلان داده است. در همین راستا شاید عدم به رسمیت شناختن اطلاعات (داده ها) به عنوان سرمایه و موضوع کسب و کار از سوی نظام حقوق اقتصادی ایران را بتوان به عنوان مهم ترین چالش این حوزه در داخل کشور نام برد.

نظرات و پیشنهادات شما؟

در مطلب امروز به کاربرد بیگ دیتا در ایران و جهان پرداختیم. آیا پیش از این با این مفهوم آشنا بوده اید؟ نظرتان راجع به آن چیست؟ می توانید نظرات، پیشنهادات و تجربیات خود را در این زمینه را در بخش دیدگاه این پست با ما به اشتراک بگذارید.