HomeĐời SốngHive là gì

Hive là gì

10:38, 27/03/2021

Thuật ngữ Big Data được áp dụng cho những bộ tập dữ liệu lớn tưởng bao gồm khối lượng lớn, tốc độ cao và các loại dữ liệu đang tạo thêm từng giờ. Sử dụng những khối hệ thống cai quản dữ liệu truyền thống lịch sử, siêu khó để xử trí Big data. Do kia, Quỹ ứng dụng Apabít (Apađậy Software Foundation) đã giới thiệu một framework tên là Hadoop nhằm giải quyết và xử lý những thách thức quản lý với cách xử trí Big data.

Bạn đang xem: Hive là gì

Hadoop

Hadoop là một trong framework open-source nhằm lưu trữ với cách xử lý Big data trong môi trường phân tán. Nó đựng hai mô-đun, một là MapReduce cùng một mô-đun khác là Hệ thống tệp phân tán Hadoop (Hadoop Distributed File System - HDFS).

MapReduce: Đây là mô hình lập trình tuy vậy song nhằm cách xử trí một lượng bự tài liệu tất cả cấu tạo, bán kết cấu cùng ko cấu tạo bên trên các cụm to của phần cứng thương thơm mại (commodity hardware).HDFS: Hệ thống tệp phân tán Hadoop là một phần của framework Hadoop, được sử dụng để tàng trữ cùng xử trí các cỗ dữ liệu. Nó cung cấp một khối hệ thống tập tin Chịu lỗi nhằm điều khiển xe trên Hartware thương thơm mại.

Hệ sinh thái Hadoop chứa những sub-project (tool) khác nhau như Sqoop, Pig và Hive sầu được sử dụng nhằm hỗ trợ các mô-đun Hadoop.

Sqoop: Nó được sử dụng để nhập cùng xuất tài liệu mang đến với đi thân HDFS với RDBMS.Pig: Đây là một nền tảng gốc rễ ngôn từ giấy tờ thủ tục được thực hiện để phát triển tập lệnh cho những buổi giao lưu của MapReduce.

Xem thêm: Con Mực Trong Tiếng Anh Là Gì? Con Mực Tiếng Anh Là Gì

Hive: Đây là 1 nền tảng gốc rễ được thực hiện nhằm cải tiến và phát triển những tập lệnh các loại SQL để thực hiện những vận động MapReduce.

Chụ ý: Có vô số phương pháp không giống nhau nhằm thực hiện những vận động MapReduce:

Cách tiếp cận truyền thống lâu đời sử dụng lịch trình Java MapReduce đến dữ liệu có cấu trúc, buôn bán cấu tạo với không cấu tạo.Cách tiếp cận sử dụng câu lệnh đến MapReduce nhằm cách xử trí tài liệu gồm cấu tạo với buôn bán cấu tạo bằng Pig.Ngôn ngữ tầm nã vấn Hive (Hivequốc lộ hoặc HQL) mang lại MapReduce để cách xử trí dữ liệu có kết cấu bởi Hive sầu.Hive sầu là gì?

Hive sầu là một giải pháp cơ sở hạ tầng kho tài liệu để giải pháp xử lý tài liệu gồm cấu tạo vào Hadoop. Nó nằm trên đỉnh Hadoop để cầm tắt Dữ liệu béo cùng góp tróc nã vấn cùng đối chiếu dễ dàng.

Ban đầu Hive được phát triển vì Facebook, kế tiếp Quỹ Phần mềm Apađậy đã đưa cùng cải cách và phát triển nó thành một nguồn mngơi nghỉ dưới thương hiệu Apabít Hive sầu. Nó được áp dụng bởi những cửa hàng khác biệt. Ví dụ: Amazon áp dụng nó trong Amazon Elastic MapReduce.

Hive không hẳn là:Một CSDL quan lại hệMột xây đắp để giải pháp xử lý thanh toán Online (OnLine Transaction Processing - OLTP)Một ngữ điệu cho những truy tìm vấn thời hạn thực cùng update cung cấp hàngdị thường của HiveNó tàng trữ lược đồ vào đại lý dữ liệu và cách xử trí dữ liệu vào HDFS.Nó được thiết kế với mang đến OLAPhường.Nó hỗ trợ ngữ điệu kiểu Squốc lộ để truy hỏi vấn được hotline là HiveQL hoặc Hquốc lộ.Nó là quen thuộc, hối hả, có khả năng mở rộng.Kiến trúc của Hive

Sơ đồ vật sau đây biểu lộ kiến trúc của Hive:

*
Sơ trang bị thành phần này chứa những đơn vị chức năng không giống nhau.

User Interface: Hive là một phần mềm hạ tầng kho dữ liệu hoàn toàn có thể làm ra xúc tiến giữa người dùng và HDFS. Các hình ảnh người tiêu dùng mà lại Hive cung cấp là Hive Web UI, Hive sầu comm& line và Hive HD Insight (Trong máy chủ Windows).Meta Store: Hive lựa chọn các máy chủ đại lý tài liệu tương xứng để lưu trữ lược đồ gia dụng hoặc metadata của những bảng, đại lý dữ liệu, các cột trong một bảng, những các loại dữ liệu của bọn chúng và ánh xạ HDFS.HiveQL Process Engine: Hivequốc lộ tương tự nhỏng Squốc lộ để truy vấn ban bố lược đồ gia dụng trên Metastore. Đây là một trong những trong những thay thế sửa chữa của phương thức truyền thống mang đến chương trình MapReduce. Txuất xắc vị viết lịch trình MapReduce bởi Java, chúng ta có thể viết một tầm nã vấn đến các bước MapReduce với cách xử lý nó.Execution Engine: Phần phối hợp của phương tiện cách xử trí HiveQL cùng MapReduce là Công núm triển khai Hive (Hive sầu Execution Engine). Công chũm thực hiện xử trí truy vấn vấn với tạo nên hiệu quả giống hệt như hiệu quả MapReduce.HDFS hoặc HBASE: Hệ thống tệp phân tán Hadoop hoặc HBASE là các nghệ thuật tàng trữ dữ liệu để tàng trữ tài liệu vào hệ thống tệp.Cách thao tác của Hive

Sơ thiết bị sau diễn đạt tiến trình làm việc thân Hive sầu và Hadoop.

*

Cách Hive tương tác với framework Hadoop:

Thực thi query: Giao diện Hive sầu nlỗi Commvà line hoặc Giao diện người dùng web gửi tầm nã vấn mang đến Trình điều khiển (ngẫu nhiên trình điều khiển và tinh chỉnh các đại lý tài liệu như thế nào nhỏng JDBC, ODBC, v.v.) nhằm xúc tiến.Nhận kế hoạch: Trình tinh chỉnh bao gồm sự giúp sức của trình biên dịch truy tìm vấn nhằm so với cú pháp truy vấn vấn để bình chọn cú pháp và chiến lược truy vấn hoặc tận hưởng của truy tìm vấn.Nhận metadata: Trình biên dịch gửi trải nghiệm metadata mang lại Metastore (bất kỳ cơ sở tài liệu nào).Gửi metadata: Metastore gửi metadata như một ý kiến mang đến trình biên dịch.Gửi kế hoạch: Trình biên dịch bình chọn thưởng thức cùng gửi lại chiến lược cho trình điều khiển và tinh chỉnh. Đến phía trên, vấn đề đối chiếu cú pháp với biên dịch một truy tìm vấn đã hoàn toàn.Kế hoạch thực hiện: Trình điều khiển gửi kế hoạch triển khai mang đến chính sách tiến hành.Thực kiến tạo việc: Trong nội cỗ, quy trình xúc tiến các bước là 1 quá trình MapReduce. Công chũm tiến hành gửi quá trình mang lại JobTracker, trong node Name cùng nó gán quá trình này đến TaskTracker, vào node Data. Tại trên đây, tróc nã vấn thực hiện công việc MapReduce.

Xem thêm: Sữa Rửa Mặt Kose Softymo Review, Review Sữa Rửa Mặt Kose Softymo 3 Loại

Hoạt rượu cồn metadata: Trong lúc thực hiện, cơ chế xúc tiến rất có thể thực hiện các chuyển động metadata với Metastore.Lấy kết quả: Công cầm cố thực thi thừa nhận kết quả tự các node Data.Gửi kết quả: Công cầm cố triển khai gửi những quý hiếm tác dụng kia cho trình điều khiển.Gửi kết quả: Trình điều khiển gửi tác dụng mang lại Giao diện Hive.

Chuyên mục: Đời Sống