mirror of
https://github.com/minio/minio.git
synced 2024-12-24 06:05:55 -05:00
Refactoring input parsing for erasure-demo
This commit is contained in:
parent
2a2e67cb50
commit
323a7b8492
@ -5,7 +5,6 @@ import (
|
|||||||
"log"
|
"log"
|
||||||
"os"
|
"os"
|
||||||
"strconv"
|
"strconv"
|
||||||
"strings"
|
|
||||||
|
|
||||||
"github.com/codegangsta/cli"
|
"github.com/codegangsta/cli"
|
||||||
"github.com/minio-io/minio/pkgs/erasure"
|
"github.com/minio-io/minio/pkgs/erasure"
|
||||||
@ -18,39 +17,21 @@ func decode(c *cli.Context) {
|
|||||||
return
|
return
|
||||||
}
|
}
|
||||||
|
|
||||||
// get input path
|
config, err := parseInput(c)
|
||||||
inputFilePath := c.Args().Get(0)
|
|
||||||
|
|
||||||
// get output path
|
|
||||||
outputFilePath := inputFilePath
|
|
||||||
if c.String("output") != "" {
|
|
||||||
outputFilePath = c.String("output")
|
|
||||||
}
|
|
||||||
|
|
||||||
protectionLevel := c.String("protection-level")
|
|
||||||
protectionLevelSplit := strings.Split(protectionLevel, ",")
|
|
||||||
if len(protectionLevelSplit) != 2 {
|
|
||||||
log.Fatal("Malformed input for protection-level")
|
|
||||||
}
|
|
||||||
|
|
||||||
k, err := strconv.Atoi(protectionLevelSplit[0])
|
|
||||||
if err != nil {
|
|
||||||
log.Fatal(err)
|
|
||||||
}
|
|
||||||
|
|
||||||
m, err := strconv.Atoi(protectionLevelSplit[1])
|
|
||||||
if err != nil {
|
if err != nil {
|
||||||
log.Fatal(err)
|
log.Fatal(err)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
k := config.k
|
||||||
|
m := config.m
|
||||||
// get chunks
|
// get chunks
|
||||||
chunks := make([][]byte, k+m)
|
chunks := make([][]byte, k+m)
|
||||||
for i := 0; i < k+m; i++ {
|
for i := 0; i < k+m; i++ {
|
||||||
chunks[i], _ = ioutil.ReadFile(inputFilePath + "." + strconv.Itoa(i))
|
chunks[i], _ = ioutil.ReadFile(config.input + "." + strconv.Itoa(i))
|
||||||
}
|
}
|
||||||
|
|
||||||
// get length
|
// get length
|
||||||
lengthBytes, err := ioutil.ReadFile(inputFilePath + ".length")
|
lengthBytes, err := ioutil.ReadFile(config.input + ".length")
|
||||||
if err != nil {
|
if err != nil {
|
||||||
log.Fatal(err)
|
log.Fatal(err)
|
||||||
}
|
}
|
||||||
@ -70,8 +51,8 @@ func decode(c *cli.Context) {
|
|||||||
}
|
}
|
||||||
|
|
||||||
// write decode data out
|
// write decode data out
|
||||||
if _, err := os.Stat(outputFilePath); os.IsNotExist(err) {
|
if _, err := os.Stat(config.output); os.IsNotExist(err) {
|
||||||
ioutil.WriteFile(outputFilePath, decodedData, 0600)
|
ioutil.WriteFile(config.output, decodedData, 0600)
|
||||||
} else {
|
} else {
|
||||||
log.Fatal("Output file already exists")
|
log.Fatal("Output file already exists")
|
||||||
}
|
}
|
||||||
|
@ -5,7 +5,6 @@ import (
|
|||||||
"log"
|
"log"
|
||||||
"os"
|
"os"
|
||||||
"strconv"
|
"strconv"
|
||||||
"strings"
|
|
||||||
|
|
||||||
"github.com/codegangsta/cli"
|
"github.com/codegangsta/cli"
|
||||||
"github.com/minio-io/minio/pkgs/erasure"
|
"github.com/minio-io/minio/pkgs/erasure"
|
||||||
@ -18,33 +17,13 @@ func encode(c *cli.Context) {
|
|||||||
return
|
return
|
||||||
}
|
}
|
||||||
|
|
||||||
// get input path
|
config, err := parseInput(c)
|
||||||
inputFilePath := c.Args().Get(0)
|
|
||||||
|
|
||||||
// get output path
|
|
||||||
outputFilePath := inputFilePath
|
|
||||||
if c.String("output") != "" {
|
|
||||||
outputFilePath = c.String("output")
|
|
||||||
}
|
|
||||||
|
|
||||||
protectionLevel := c.String("protection-level")
|
|
||||||
protectionLevelSplit := strings.Split(protectionLevel, ",")
|
|
||||||
if len(protectionLevelSplit) != 2 {
|
|
||||||
log.Fatal("Malformed input for protection-level")
|
|
||||||
}
|
|
||||||
|
|
||||||
k, err := strconv.Atoi(protectionLevelSplit[0])
|
|
||||||
if err != nil {
|
|
||||||
log.Fatal(err)
|
|
||||||
}
|
|
||||||
|
|
||||||
m, err := strconv.Atoi(protectionLevelSplit[1])
|
|
||||||
if err != nil {
|
if err != nil {
|
||||||
log.Fatal(err)
|
log.Fatal(err)
|
||||||
}
|
}
|
||||||
|
|
||||||
// get file
|
// get file
|
||||||
inputFile, err := os.Open(inputFilePath)
|
inputFile, err := os.Open(config.input)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
log.Fatal(err)
|
log.Fatal(err)
|
||||||
}
|
}
|
||||||
@ -56,13 +35,13 @@ func encode(c *cli.Context) {
|
|||||||
}
|
}
|
||||||
|
|
||||||
// set up encoder
|
// set up encoder
|
||||||
erasureParameters, _ := erasure.ParseEncoderParams(k, m, erasure.CAUCHY)
|
erasureParameters, _ := erasure.ParseEncoderParams(config.k, config.m, erasure.CAUCHY)
|
||||||
// encode data
|
// encode data
|
||||||
encodedData, length := erasure.Encode(input, erasureParameters)
|
encodedData, length := erasure.Encode(input, erasureParameters)
|
||||||
|
|
||||||
// write encoded data out
|
// write encoded data out
|
||||||
for key, data := range encodedData {
|
for key, data := range encodedData {
|
||||||
ioutil.WriteFile(outputFilePath+"."+strconv.Itoa(key), data, 0600)
|
ioutil.WriteFile(config.output+"."+strconv.Itoa(key), data, 0600)
|
||||||
}
|
}
|
||||||
ioutil.WriteFile(outputFilePath+".length", []byte(strconv.Itoa(length)), 0600)
|
ioutil.WriteFile(config.output+".length", []byte(strconv.Itoa(length)), 0600)
|
||||||
}
|
}
|
||||||
|
@ -1,7 +1,10 @@
|
|||||||
package main
|
package main
|
||||||
|
|
||||||
import (
|
import (
|
||||||
|
"errors"
|
||||||
"os"
|
"os"
|
||||||
|
"strconv"
|
||||||
|
"strings"
|
||||||
|
|
||||||
"github.com/codegangsta/cli"
|
"github.com/codegangsta/cli"
|
||||||
)
|
)
|
||||||
@ -48,3 +51,47 @@ func main() {
|
|||||||
}
|
}
|
||||||
app.Run(os.Args)
|
app.Run(os.Args)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// config representing cli input
|
||||||
|
type inputConfig struct {
|
||||||
|
input string
|
||||||
|
output string
|
||||||
|
k int
|
||||||
|
m int
|
||||||
|
blockSize int
|
||||||
|
}
|
||||||
|
|
||||||
|
// parses input and returns an inputConfig with parsed input
|
||||||
|
func parseInput(c *cli.Context) (inputConfig, error) {
|
||||||
|
// get input path
|
||||||
|
inputFilePath := c.Args().Get(0)
|
||||||
|
|
||||||
|
// get output path
|
||||||
|
outputFilePath := inputFilePath
|
||||||
|
if c.String("output") != "" {
|
||||||
|
outputFilePath = c.String("output")
|
||||||
|
}
|
||||||
|
|
||||||
|
protectionLevel := c.String("protection-level")
|
||||||
|
protectionLevelSplit := strings.Split(protectionLevel, ",")
|
||||||
|
if len(protectionLevelSplit) != 2 {
|
||||||
|
return inputConfig{}, errors.New("Malformed input for protection-level")
|
||||||
|
}
|
||||||
|
|
||||||
|
k, err := strconv.Atoi(protectionLevelSplit[0])
|
||||||
|
if err != nil {
|
||||||
|
return inputConfig{}, err
|
||||||
|
}
|
||||||
|
|
||||||
|
m, err := strconv.Atoi(protectionLevelSplit[1])
|
||||||
|
if err != nil {
|
||||||
|
return inputConfig{}, err
|
||||||
|
}
|
||||||
|
|
||||||
|
return inputConfig{
|
||||||
|
input: inputFilePath,
|
||||||
|
output: outputFilePath,
|
||||||
|
k: k,
|
||||||
|
m: m,
|
||||||
|
}, nil
|
||||||
|
}
|
||||||
|
Loading…
Reference in New Issue
Block a user