Що таке вихідний формат MapReduce?
Формат виводу Hadoop-зменшувача MapReduce за замовчуванням TextOutputFormat, який записує пари (ключ, значення) в окремі рядки текстових файлів, і його ключі та значення можуть бути будь-якого типу, оскільки TextOutputFormat перетворює їх на рядок, викликаючи для них toString().
Файл карти може мати нуль, одну або більше заяв об’єкта OUTPUTFORMAT, що визначає доступні підтримувані формати виводу, включаючи такі формати, як PNG, GIF, JPEG, GeoTIFF, SVG, PDF і KML. Якщо оголошення розділів OUTPUTFORMAT не знайдено у файлі карти, будуть зроблені наступні неявні оголошення.
Входи та виходи Модель MapReduce працює з парами <ключ, значення>. Він розглядає вхідні дані для завдань як набір пар <ключ, значення> і створює інший набір пари <ключ, значення> як результат робочих місць. Введення даних підтримується двома класами в цій структурі, а саме InputFormat і RecordReader.
Функції відображення та зменшення в Hadoop MapReduce мають такий загальний вигляд: карта: (K1, V1) → список (K2, V2) зменшити: (K2, список (V2)) → список (K3, V3) Загалом типи ключа та значення введення карти (K1 і V1) відрізняються від типів виводу карти (K2 і V2).
Типи InputFormat у MapReduce
- FileInputFormat. Він служить основою для всіх файлових форматів введення. …
- TextInputFormat. Це стандартний InputFormat. …
- KeyValueTextInputFormat. Його можна порівняти з TextInputFormat. …
- SequenceFileInputFormat. …
- SequenceFileAsTextInputFormat. …
- NlineInputFormat.
Вихідні файли можна зберігати в текстовому форматі або у форматі змінних, розділених комами. Вибраний вами формат залежить від того, чи бажаєте ви переглянути інформацію за допомогою текстового редактора, чи хочете імпортувати інформацію в електронну таблицю чи програму бази даних.