博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop 裡的 fsck 指令
阅读量:6490 次
发布时间:2019-06-24

本文共 807 字,大约阅读时间需要 2 分钟。

Hadoop 裡的 fsck 指令,可檢查 HDFS 裡的檔案 (file),是否有 corrupt (毀損) 或資料遺失,並產生 HDFS 檔案系統的整體健康報告。報告內容,包括:

Total blocks (區塊的總個數)、Average block replication (平均副本個數)、Corrupt blocks、遺失的區塊個數、...等等。
-------------------------
指令如下:
舊版:
hadoop fsck /
新版:
hdfs fsck /
hdfs fsck --help
hdfs fsck / -files -blocks -locations
(可用來找出哪些是有遺失區塊的檔案,以及哪些區塊是放在哪台資料節點上)

圖 1
-------------------------
若健康則顯示:
Status: HEALTHY
若有毀損則顯示:
Status: CORRUPT
-------------------------
Hadoop 的 fsck 不像 Linux 的 fsck,前者預設是不具有破壞性的,不會去修正檢查到的錯誤,因此可每天執行以做檢查。fsck 是只跟 metadata 有關的操作,其需要的資訊,都可從 NameNode 取得,因此不必和 cluster 所有的 NameNode 溝通。但其 RPC (遠端程序呼叫) 次數可能較高,因此建議在離峰時間來進行檢查。
CCAH 證照 (CCA-500) 會考到這個指令的用途,但不會考細部的功能及參數,只要知道 fsck 大概的功能即可。
-------------------------
參考書籍:
[1] Hadoop Operations: A Guide for Developers and Administrators, ch2、ch10

Commands Guide:

转载地址:http://bdeuo.baihongyu.com/

你可能感兴趣的文章
HTML标签 转 NSAttributedString
查看>>
vue实现根据多选框按钮,动态给百度地图添加和删除相应的覆盖物
查看>>
前奏交响曲
查看>>
深入理解Spring系列之七:web应用自动装配Spring配置
查看>>
axios插件学习
查看>>
用python手刃Leetcode(9):回文数【简单题】
查看>>
SpringFlux入门(上篇)
查看>>
Bean注解方式知识点1
查看>>
centos7 hive 单机模式安装配置
查看>>
记一次小白在centos下安装nginx
查看>>
swift unowned和weak的使用
查看>>
面向对象设计原则
查看>>
异步编程 101: 是什么、小试Python asyncio
查看>>
html中在线预览pdf文件之pdf在线预览插件
查看>>
MongoDB入门篇
查看>>
Java 集合08之 ListLinkedList, ArrayList等使用场景和性能分析
查看>>
短期怎么学会云计算?新手学习云计算的规划
查看>>
支配vue框架之模版语法 v-html
查看>>
英伟达发布超强大新型芯片用于人工智能
查看>>
以太坊社区激励金计划:支持开发者利用去中心化技术改变世界
查看>>