簡(jiǎn)介

Apache Hadoop 分布式文件系統(tǒng) (HDFS) 是一種分布式文件系統(tǒng)，專為管理和處理大數(shù)據(jù)量而設(shè)計(jì)。它將文件存儲(chǔ)在許多計(jì)算節(jié)點(diǎn)上，并使用主節(jié)點(diǎn)來(lái)協(xié)調(diào)訪問(wèn)。HDFS 非常適合存儲(chǔ)和處理大量非結(jié)構(gòu)化數(shù)據(jù)，例如日志文件、傳感器數(shù)據(jù)和社交媒體數(shù)據(jù)。它還被廣泛用于云計(jì)算和機(jī)器學(xué)習(xí)等應(yīng)用。

使用 HDFS 的最佳實(shí)踐

以下是一些使用 HDFS 管理巨量數(shù)據(jù)集的最佳實(shí)踐：使用較小的塊大小：HDFS 中的數(shù)據(jù)被分成塊，默認(rèn)塊大小為 128 MB。對(duì)于較小的文件，較大的塊大小會(huì)浪費(fèi)存儲(chǔ)空間。相反，對(duì)于較大的文件，較小的塊大小可以提高性能，因?yàn)槊總€(gè)塊都可以被多個(gè)服務(wù)器訪問(wèn)。創(chuàng)建目錄層次結(jié)構(gòu)：HDFS 中的數(shù)據(jù)存儲(chǔ)在目錄中。為了提高性能并便于管理，請(qǐng)創(chuàng)建一個(gè)分層的目錄結(jié)構(gòu)，其中目錄按主題、文件類型或其他標(biāo)準(zhǔn)組織。使用壓縮：HDFS 支持多種壓縮編解碼器，例如 GZIP、BZIP2 和 Snappy。壓縮可以減少數(shù)據(jù)存儲(chǔ)和傳輸?shù)某杀尽Ｊ褂酶北荆篐DFS 中的數(shù)據(jù)副本可以存儲(chǔ)在不同的服務(wù)器上。這提高了數(shù)據(jù)可用性和容錯(cuò)性，但會(huì)增加存儲(chǔ)空間的成本。使用快照：HDFS 快照允許您在某個(gè)時(shí)間點(diǎn)創(chuàng)建數(shù)據(jù)的副本。這對(duì)于備份、還原和分析很有用。監(jiān)視 HDFS：定期監(jiān)視 HDFS 群集對(duì)于確保其正常運(yùn)行至關(guān)重要。監(jiān)視指標(biāo)包括群集健康狀況、數(shù)據(jù)使用情況和吞吐量。

使用 HDFS 命令創(chuàng)建文件夾

要使用 HDFS 命令創(chuàng)建文件夾，請(qǐng)使用 `mkdir` 命令。該命令的語(yǔ)法如下：hdfs dfs -mkdir <目錄路徑>例如，要?jiǎng)?chuàng)建名為 `my_directory` 的目錄，您可以運(yùn)行以下命令：hdfs dfs -mkdir /user/my_user/my_directory

結(jié)論

HDFS 是一個(gè)強(qiáng)大的分布式文件系統(tǒng)，非常適合管理和處理大數(shù)據(jù)量。通過(guò)遵循這些最佳實(shí)踐和技巧，您可以優(yōu)化 HDFS 的性能和效率。

---

什么是大數(shù)據(jù)技術(shù)？大數(shù)據(jù)的概念

大數(shù)據(jù)技術(shù)是指大數(shù)據(jù)的應(yīng)用技術(shù)，涵蓋各類大數(shù)據(jù)平臺(tái)、大數(shù)據(jù)指數(shù)體系等大數(shù)據(jù)應(yīng)用技術(shù)。

大數(shù)據(jù)是指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。 是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)也吸引了越來(lái)越多的關(guān)注。 分析師團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢。

大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

擴(kuò)展資料：

大數(shù)據(jù)的三個(gè)層面：

1、理論，理論是認(rèn)知的必經(jīng)途徑，也是被廣泛認(rèn)同和傳播的基線。 在這里從大數(shù)據(jù)的特征定義理解行業(yè)對(duì)大數(shù)據(jù)的整體描繪和定性；從對(duì)大數(shù)據(jù)價(jià)值的探討來(lái)深入解析大數(shù)據(jù)的珍貴所在；洞悉大數(shù)據(jù)的發(fā)展趨勢(shì)；從大數(shù)據(jù)隱私這個(gè)特別而重要的視角審視人和數(shù)據(jù)之間的長(zhǎng)久博弈。

2、技術(shù)，技術(shù)是大數(shù)據(jù)價(jià)值體現(xiàn)的手段和前進(jìn)的基石。 在這里分別從云計(jì)算、分布式處理技術(shù)、存儲(chǔ)技術(shù)和感知技術(shù)的發(fā)展來(lái)說(shuō)明大數(shù)據(jù)從采集、處理、存儲(chǔ)到形成結(jié)果的整個(gè)過(guò)程。

3、實(shí)踐，實(shí)踐是大數(shù)據(jù)的最終價(jià)值體現(xiàn)。 在這里分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個(gè)人的大數(shù)據(jù)四個(gè)方面來(lái)描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實(shí)現(xiàn)的藍(lán)圖。

三分鐘帶你了解數(shù)據(jù)集成平臺(tái)FineDataLink的最佳實(shí)踐！

六月棲鴉群過(guò)山，麥風(fēng)搖曳熟瓜香。 讓我們來(lái)看看 FineDataLink 近期上新的文檔吧~上新文檔速覽：1）客戶案例2）功能使用指導(dǎo)3）問(wèn)題排查類文檔一、客戶案例文件拆分：只保留最新拆分的文件應(yīng)用場(chǎng)景：文件輸出算子可將數(shù)據(jù)按行數(shù)拆分至多個(gè)文件，但存在以下問(wèn)題：本文提供方案解決上述問(wèn)題。 實(shí)現(xiàn)思路：使用「shell 腳本」節(jié)點(diǎn)和「文件輸出」算子：方案效果如下：每次只保留最新的拆分文件，將上一次生成的文件打包壓縮備份起來(lái)，且只保留近 7 天的壓縮文件。 詳情請(qǐng)參見(jiàn)： 文件拆分：只保留最新拆分的文件API取數(shù)-數(shù)據(jù)每日落庫(kù)應(yīng)用場(chǎng)景：API 接口中每天有 20 多萬(wàn)的數(shù)據(jù)，若落庫(kù)到同一張表中，隨著時(shí)間該表數(shù)據(jù)不斷累積，可能造成查詢慢的問(wèn)題。 希望能按日期分表，每天創(chuàng)建一個(gè)新的數(shù)據(jù)表，保存該天數(shù)據(jù)。 實(shí)現(xiàn)思路：方案效果如下：參考文檔： 詳情請(qǐng)參見(jiàn)： 按日期分表，每天保存當(dāng)天數(shù)據(jù)FineReport接收并使用數(shù)據(jù)服務(wù)發(fā)布的數(shù)據(jù)應(yīng)用場(chǎng)景：用戶為保證數(shù)據(jù)安全，不希望直接將數(shù)據(jù)倉(cāng)庫(kù)賬號(hào)開(kāi)發(fā)給第三方使用，且擁有 FineDataLink 作為數(shù)據(jù)中臺(tái)，想使用「數(shù)據(jù)服務(wù)」功能，統(tǒng)一分發(fā)數(shù)據(jù)給第三方使用，同時(shí)想要使用 FineReport 直接接收數(shù)據(jù)制作看板。 實(shí)現(xiàn)思路：方案一：使用 JSON 數(shù)據(jù)集插件，在報(bào)表設(shè)計(jì)器或決策平臺(tái)安裝插件，接收數(shù)據(jù)服務(wù) API 數(shù)據(jù)并制作看板。 方案二：使用 數(shù)據(jù)工廠數(shù)據(jù)集插件，在報(bào)表設(shè)計(jì)器或決策平臺(tái)安裝插件，接收數(shù)據(jù)服務(wù) API 數(shù)據(jù)并制作看板。 詳情請(qǐng)參見(jiàn)： FineReport接收并使用數(shù)據(jù)服務(wù)發(fā)布的數(shù)據(jù)JSON解析前過(guò)濾出不合法的數(shù)據(jù)應(yīng)用場(chǎng)景：大數(shù)據(jù)量場(chǎng)景下的 json 數(shù)據(jù)解析，存在問(wèn)題如下：用戶希望：實(shí)現(xiàn)思路：使用 Python 的 is_valid_json 判斷 json 是否合法，合法的的 json 參與解析。 詳情請(qǐng)參見(jiàn)： JSON解析前過(guò)濾出不合法的數(shù)據(jù) 更多方案可點(diǎn)擊 最佳實(shí)踐合集查看二、功能使用指導(dǎo)確認(rèn)HDFS地址中的IP和端口配置 星環(huán) TRANSWARP INCEPTOR 數(shù)據(jù)源、 Hive 數(shù)據(jù)源 時(shí)，存在設(shè)置項(xiàng) HDFS 地址。 如下圖所示：本文將介紹確定 HDFS 地址中 IP 和端口的方法。 詳情請(qǐng)參見(jiàn)： 確認(rèn)HDFS地址中的IP和端口數(shù)據(jù)管道與數(shù)據(jù)開(kāi)發(fā)區(qū)別用戶在使用 FDL 時(shí)，常常會(huì)有以下疑問(wèn)：詳情請(qǐng)參見(jiàn)： 數(shù)據(jù)管道與數(shù)據(jù)開(kāi)發(fā)區(qū)別 如何使用參數(shù)&參數(shù)使用場(chǎng)景用戶在了解與使用參數(shù)功能時(shí)，常常會(huì)有以下疑問(wèn)：詳情請(qǐng)參見(jiàn)： 參數(shù)在FDL中的典型應(yīng)用場(chǎng)景、 如何配置并使用參數(shù)管道運(yùn)維指導(dǎo)管道任務(wù)運(yùn)行后，用戶常常有以下問(wèn)題：詳情請(qǐng)參見(jiàn)： 數(shù)據(jù)管道運(yùn)維指導(dǎo)三、問(wèn)題排查類文檔近期對(duì) FDL 中常見(jiàn)問(wèn)題、故障類問(wèn)題進(jìn)行梳理整合。 詳情請(qǐng)參見(jiàn)： 常見(jiàn)問(wèn)題專題 下表是近期新增的問(wèn)題排查類文檔。

數(shù)據(jù)庫(kù)圖片能用longtext類型嗎

可以使用 longtext 類型來(lái)存儲(chǔ)圖片數(shù)據(jù)，但不建議這么做。 這是因?yàn)?longtext 類型主要用于存儲(chǔ)文本數(shù)據(jù)，而圖片數(shù)據(jù)通常以字節(jié)流的方式存儲(chǔ)在文件或數(shù)據(jù)庫(kù)中，使用 longtext 類型進(jìn)行存儲(chǔ)會(huì)影響數(shù)據(jù)的讀取和處理效率。 對(duì)于存儲(chǔ)圖片數(shù)據(jù)，通常建議使用 BLOB類型，BLOB 類型可以存儲(chǔ)二進(jìn)制數(shù)據(jù)，包括圖片、音頻、視頻等多媒體數(shù)據(jù)，能夠更好地保存并管理圖片數(shù)據(jù)。 在 MySQL 數(shù)據(jù)庫(kù)中，可以使用 BLOB 或 LONG BLOB 類型來(lái)存儲(chǔ)大量二進(jìn)制數(shù)據(jù)。 LONG BLOB 類型允許存儲(chǔ)最大 4GB 的數(shù)據(jù)，可以滿足大多數(shù)應(yīng)用程序的需求。 總之，如果您需要存儲(chǔ)圖片數(shù)據(jù)，建議使用 BLOB 或 LONG BLOB 類型，以保證數(shù)據(jù)的完整性和讀寫效率。

一年省七位數(shù)，得物自建 HFDS 在 Flink Checkpoint 場(chǎng)景下的應(yīng)用實(shí)踐

得物技術(shù)在面對(duì) Flink Checkpoint 數(shù)據(jù)存儲(chǔ)成本高昂的問(wèn)題時(shí)，選擇了自建 HDFS 作為解決方案，通過(guò)實(shí)踐，成功實(shí)現(xiàn)了每年節(jié)省七位數(shù)的成本。 HDFS 的引入解決了Flink任務(wù)狀態(tài)存儲(chǔ)的帶寬挑戰(zhàn)，特別是在處理大狀態(tài)任務(wù)時(shí)，傳統(tǒng)的OSS存儲(chǔ)難以滿足100Gb/s的峰值流量需求，而HDFS憑借其高可靠性、高吞吐量和成本效益成為理想選擇。 在Flink中，Checkpoint是一個(gè)關(guān)鍵功能，它在任務(wù)運(yùn)行期間定期將本地狀態(tài)同步到遠(yuǎn)程HDFS，確保任務(wù)在失敗后能從備份中恢復(fù)，避免數(shù)據(jù)質(zhì)量問(wèn)題和時(shí)效問(wèn)題。 Flink的Checkpoint流程涉及狀態(tài)后端的持久化，確保數(shù)據(jù)的Exactly Once處理。 得物自建的HDFS架構(gòu)基于主從設(shè)計(jì)，通過(guò)固定大小的文件切片存儲(chǔ)，保證了數(shù)據(jù)的可靠性。 為了滿足高帶寬需求，他們選擇了d2s.5xlarge規(guī)格的ECS服務(wù)器，通過(guò)性能壓測(cè)證明能滿足100Gib/s的寫入流量。 同時(shí)，通過(guò)監(jiān)控和告警系統(tǒng)，確保HDFS的穩(wěn)定性和可用性，以滿足實(shí)時(shí)任務(wù)的SLA要求。 在遷移過(guò)程中，得物遇到了心跳匯報(bào)與刪除操作共用寫鎖的問(wèn)題，通過(guò)分析HDFS的寫入流程，他們優(yōu)化了代碼，解決了寫入失敗的問(wèn)題，成功降低了OSS的流量負(fù)擔(dān)，從137Gib/s降低到30Gib/s，每月節(jié)省了一定的費(fèi)用。 未來(lái)，得物將針對(duì)全量和增量Checkpoint帶來(lái)的HDFS壓力，考慮引入小文件合并方案，以優(yōu)化RPC和NameNode內(nèi)存的使用。 整個(gè)項(xiàng)目不僅節(jié)省了成本，也為其他企業(yè)提供了遷移和優(yōu)化的參考案例。 如果您對(duì)提高企業(yè)協(xié)作效率感興趣，得物技術(shù)沙龍是一個(gè)不錯(cuò)的選擇，它將分享關(guān)于協(xié)作效率演進(jìn)的深入討論和最佳實(shí)踐。

?我也已經(jīng)25歲其實(shí)就有轉(zhuǎn)行的打算了，想轉(zhuǎn)數(shù)據(jù)分析大數(shù)據(jù)行業(yè)，我大學(xué)本科是和這個(gè)專業(yè)相關(guān)的，

讀研期間多跟著導(dǎo)師做項(xiàng)目，有些導(dǎo)師手上有很多橫向項(xiàng)目，是參與實(shí)踐的良好途徑，其實(shí)有人讀研期間跟上班一樣忙，不要讓學(xué)校時(shí)光虛度。 另外，你年齡不小了，可以在讀書期間思考以后就業(yè)的問(wèn)題，讀書時(shí)成家政策也支持，當(dāng)然有合適的結(jié)婚對(duì)象才行。

---

---

相關(guān)標(biāo)簽： 使用、 管理巨量數(shù)據(jù)集、 HDFS、 最佳實(shí)踐和提示、 使用hdfs命令創(chuàng)建文件夾、

上一篇：HDFS數(shù)據(jù)存儲(chǔ)中的挑戰(zhàn)與解決方案hdfs數(shù)據(jù)塊

下一篇：深入了解HDFS架構(gòu)優(yōu)點(diǎn)和缺點(diǎn)深入了解后面句