Bạn Đang Xem: Tìm hiểu về Apache Spark

Ngày này có rất nhiều khối hệ thống đang sử dụng Hadoop để phân tích và xử lý tài liệu lớn. Ưu điểm lớn số 1 của Hadoop là được dựa trên một mô hình lập trình song song với xử lý tài liệu lớn là MapReduce, mô hình này được cho phép khả năng tính toán có thể mở rộng, linh hoạt, khả năng chịu lỗi, ngân sách rẻ. Điều này được cho phép tăng tốc thời kì xử lý các tài liệu lớn nhằm duy trì tốc độ, giảm thời kì chờ đón khi tài liệu ngày càng lớn.

Dù có rất nhiều điểm mạnh về khả năng tính toán song song và khả năng chịu lỗi cao nhưng Apache Haddop có một nhược điểm là tất cả những thao tác đều phải thực hiện trên ổ đĩa cứng điều này đã làm giảm tốc độ tính toán đi gấp nhiều lần.

Để khắc phục được nhược điểm này thì Apache Spark được ra đời. Apache Spark có thể chạy nhanh hơn 10 lần so với Haddop ở trên đĩa cứng và 100 lần khi chạy trên bộ nhớ RAM.

Apache Spark là một framework mã nguồn mở tính toán cụm, được phát triển sơ khởi vào năm 2009 bởi AMPLab. Sau này, Spark đã được trao cho Apache Software Foundation vào năm 2013 và được phát triển cho tới nay.

Tốc độ xử lý của Spark đã sở hữu được do việc tính toán được thực hiện cùng lúc trên nhiều máy khác nhau. Song song việc tính toán được thực hiện ở bộ nhớ trong (in-memories) hay thực hiện hoàn toàn trên RAM.

Xem Thêm : OTT là gì? Những lý do khiến bạn nên sử dụng OTT

Spark được cho phép xử lý tài liệu theo thời kì thực, vừa nhận tài liệu từ các nguồn khác nhau song song thực hiện ngay việc xử lý trên tài liệu vừa nhận được ( Spark Streaming).

Spark không có khối hệ thống file của riêng mình, nó sử dụng khối hệ thống file khác ví như: HDFS, Cassandra Stavrou, S3,…. Spark tương trợ nhiều kiểu định dạng file khác nhau (text, csv, json…) song song nó hoàn toàn không phụ thuộc vào bất kì một khối hệ thống file nào.

Apache Spark gồm có 5 thành phần chính : Spark Core, Spark Streaming, Spark SQL, MLlib và GraphX, trong đó:

• Spark Core là nền tảng cho những thành phần sót lại và các thành phần này muốn khởi chạy được thì đều phải thông qua Spark Core do Spark Core đảm nhận vai trò thực hiện công việc tính toán và xử lý trong bộ nhớ (In-memory computing) song song nó cũng tham chiếu các tài liệu được lưu trữ tại những khối hệ thống lưu trữ phía bên ngoài.

• Spark SQL cung cấp một kiểu data abstraction mới (SchemaRDD) nhằm tương trợ cho tất cả kiểu tài liệu có cấu trúc (structured data) và tài liệu nửa cấu trúc (semi-structured data – thường là tài liệu tài liệu có cấu trúc nhưng không đồng nhất và cấu trúc của tài liệu phụ thuộc vào chính nội dung của tài liệu ấy). Spark SQL tương trợ DSL (Domain-specific language) để thực hiện các thao tác trên DataFrames bằng tiếng nói Scala, Java hoặc Python và nó cũng tương trợ cả tiếng nói SQL với giao diện command-line và ODBC/JDBC server.

• Spark Streaming được sử dụng để thực hiện việc phân tích stream bằng việc xem stream là các mini-batches và thực hiệc kỹ thuật RDD transformation khi đối chiếu với các tài liệu mini-batches này. Thông qua đó được cho phép các đoạn code được viết cho xử lý batch có thể được tận dụng lại vào trong việc xử lý stream, làm cho việc phát triển lambda architecture được dễ dàng hơn. Tuy nhiên điều này lại tạo ra độ trễ trong xử lý tài liệu (độ trễ chính bằng mini-batch duration) và do đó nhiều Chuyên Viên nhận định rằng Spark Streaming không thực sự là phương tiện xử lý streaming giống như Storm hoặc Flink.

• Xem Thêm : Giới thiệu tổng quan về Angular

  MLlib (Machine Learning Library): MLlib là một nền tảng học máy phân tán phía trên Spark do kiến trúc phân tán dựa trên bộ nhớ. Theo những so sánh benchmark Spark MLlib nhanh hơn 9 lần so với phiên bản chạy trên Hadoop (Apache Mahout).

• GrapX: Grapx là nền tảng xử lý đồ thị dựa trên Spark. Nó cung cấp các Api để diễn tảcác tính toán trong đồ thị bằng phương pháp sử dụng Pregel Api.

• Xử lý tài liệu: Spark xử lý tài liệu theo lô và thời kì thực
• Tính tương thích: Có thể tích phù hợp với tất cả những nguồn tài liệu và định dạng tệp được tương trợ bởi cụm Hadoop.
• Tương trợ tiếng nói: tương trợ Java, Scala, Python và R.
• Phân tích thời kì thực:
  • Apache Spark có thể xử lý tài liệu thời kì thực tức là tài liệu tới từ các luồng sự kiện thời kì thực với tốc độ hàng triệu sự kiện mỗi giây. Ví dụ: Data Twitter chẳng hạn hoặc luợt san sớt, đăng bài trên Facebook. Sức mạnh Spark là khả năng xử lý luồng trực tiếp hiệu quả.
  • Apache Spark có thể được sử dụng để xử lý phát hiện gian lận trong những khi thực hiện các giao dịch thanh toán nhà băng. Đó là bởi vì, tất cả những khoản tính sổ trực tuyến được thực hiện trong thời kì thực và tất cả chúng ta cần ngừng giao dịch thanh toán gian lận trong những khi quá trình tính sổ đang diễn ra.
• Mục tiêu sử dụng:
  • Xử lý tài liệu nhanh và tương tác
  • Xử lý đồ thị
  • Công việc lặp đi tái diễn
  • Xử lý thời kì thực
  • joining Dataset
  • Machine Learning
  • Apache Spark là Framework thực thi tài liệu dựa trên Hadoop HDFS. Apache Spark không thay thế cho Hadoop nhưng nó là một framework ứng dụng. Apache Spark tuy ra đời sau nhưng được nhiều người nghe biết hơn Apache Hadoop vì khả năng xử lý hàng loạt và thời kì thực.

Hiện nay, có rất nhiều hãng lớn đã dùng Spark cho những sản phẩm của mình như Yahoo, ebay, IBM, Cisco…

Với sự phát triển mạnh mẽ trong vài năm trở lại đây của Apache Spark thì lập trình viên, các nhà khoa học máy tính có thêm phương tiện hữu hiệu để phục vụ công việc của mình và người ta sẽ dần dần quên “Hadoop Stack” mà thay thế vào này sẽ là “Big data Stack”, với nhiều sự lựa chọn hơn không chỉ là Hadoop.

https://spark.apache.org/

https://www.mastercode.vn/blog/web-development/apache-spark-la-gi.85

http://itechseeker.com/