debug(bklog):Remove debug msgs from main loop
[EVA-2020-02.git] / exec / bklog
index 3d25fe312a70dcd175fe1b7c9e0de71ed8f1a548..af53431fab747150e55786a428ee5a56e5ceac69 100644 (file)
@@ -11,7 +11,7 @@ dirTmpDefault="/dev/shm"; # Default parent of working directory
 
 # Script Metadata
 scriptName="bklog";             # Define basename of script file.
-scriptVersion="0.1.2";          # Define version of script.
+scriptVersion="0.1.8";          # Define version of script.
 scriptURL="https://gitlab.com/baltakatei/ninfacyzga-01"; # Define wesite hosting this script.
 scriptTimeStart="$(date +%Y%m%dT%H%M%S.%N)"; # YYYYmmddTHHMMSS.NNNNNNNNN
 scriptHostname=$(hostname);     # Save hostname of system running this script.
@@ -225,11 +225,182 @@ displayMissing() {
 
     #==END Display errors==
 } # Display missing apps, files, dirs
+
+appendFileTar(){
+    # Desc: Appends [processed] file to tar
+    # Usage: appendFileTar [file path] [name of file to be inserted] [tar path] [temp dir] ([process cmd])
+    # Version: 2.0.1
+    # Input: arg1: path of file to be (processed and) written
+    #        arg2: name to use for file inserted into tar
+    #        arg3: tar archive path (must exist first)
+    #        arg4: temporary working dir
+    #        arg5: (optional) command string to process file (ex: "gpsbabel -i nmea -f - -o kml -F - ")
+    # Output: file written to disk
+    # Example: decrypt multiple large files in parallel
+    #          appendFileTar /tmp/largefile1.gpg "largefile1" $HOME/archive.tar /tmp "gpg --decrypt" &
+    #          appendFileTar /tmp/largefile2.gpg "largefile2" $HOME/archive.tar /tmp "gpg --decrypt" &
+    #          appendFileTar /tmp/largefile3.gpg "largefile3" $HOME/archive.tar /tmp "gpg --decrypt" &
+    # Depends: bash 5.0.3, tar 1.30, cat 8.30, yell()
+    local fn fileName tarPath tmpDir
+
+    # Save function name
+    fn="${FUNCNAME[0]}";
+    #yell "DEBUG:STATUS:$fn:Started appendFileTar()."
+    
+    # Set file name
+    if ! [ -z "$2" ]; then fileName="$2"; else yell "ERROR:$fn:Not enough arguments."; exit 1; fi
+    # Check tar path is a file
+    if [ -f "$3" ]; then tarPath="$3"; else yell "ERROR:$fn:Tar archive arg not a file:$3"; exit 1; fi
+    # Check temp dir arg
+    if ! [ -z "$4" ]; then tmpDir="$4"; else yell "ERROR:$fn:No temporary working dir set."; exit 1; fi
+    # Set command strings
+    if ! [ -z "$5" ]; then cmd1="$5"; else cmd1="cat "; fi # command string
+
+    # Input command string
+    cmd0="cat \"\$1\"";
+    
+    # Write to temporary working dir
+    eval "$cmd0 | $cmd1" > "$tmpDir"/"$fileName";
+
+    # Append to tar
+    try tar --append --directory="$tmpDir" --file="$tarPath" "$fileName";
+    #yell "DEBUG:STATUS:$fn:Finished appendFileTar()."
+} # Append [processed] file to Tar archive
+checkAgePubkey() {
+    # Desc: Checks if string is an age-compatible pubkey
+    # Usage: checkAgePubkey [str pubkey]
+    # Version: 0.1.2
+    # Input: arg1: string
+    # Output: return code 0: string is age-compatible pubkey
+    #         return code 1: string is NOT an age-compatible pubkey
+    #         age stderr (ex: there is stderr if invalid string provided)
+    # Depends: age (v0.1.0-beta2; https://github.com/FiloSottile/age/releases/tag/v1.0.0-beta2 )
+    
+    argPubkey="$1";
+    
+    if echo "test" | age -a -r "$argPubkey" 1>/dev/null; then
+       return 0;
+    else
+       return 1;
+    fi;
+} # Check age pubkey
+checkMakeTar() {
+    # Desc: Checks that a valid tar archive exists, creates one otherwise
+    # Usage: checkMakeTar [ path ]
+    # Version: 1.0.2
+    # Input: arg1: path of tar archive
+    # Output: exit code 0 : tar readable
+    #         exit code 1 : tar missing; created
+    #         exit code 2 : tar not readable; moved; replaced
+    # Depends: bash 5, date 8, tar 1, try()
+    local pathTar returnFlag0 returnFlag1 returnFlag2
+    pathTar="$1";
+
+    # Check if file is a valid tar archive
+    if tar --list --file="$pathTar" 1>/dev/null 2>&1; then
+       ## T1: return success
+       returnFlag0="tar valid";
+    else
+       ## F1: Check if file exists
+       if [[ -f "$pathTar" ]]; then
+           ### T: Rename file
+           try mv "$pathTar" "$pathTar""--broken--""$(date +%Y%m%dT%H%M%S)" && \
+               returnFlag1="tar moved";
+       else
+           ### F: -
+           :
+       fi;
+       ## F2: Create tar archive, return 0
+       try tar --create --file="$pathTar" --files-from=/dev/null && \
+           returnFlag2="tar created";
+    fi;
+    
+    # Determine function return code
+    if [[ "$returnFlag0" = "tar valid" ]]; then
+       return 0;
+    elif [[ "$returnFlag2" = "tar created" ]] && ! [[ "$returnFlag1" = "tar moved" ]]; then
+       return 1; # tar missing so created
+    elif [[ "$returnFlag2" = "tar created" ]] && [[ "$returnFlag1" = "tar moved" ]]; then
+       return 2; # tar not readable so moved; replaced
+    fi;
+} # checks if arg1 is tar; creates one otherwise
+dateShort(){
+    # Desc: Date without separators (YYYYmmdd)
+    # Usage: dateShort ([str date])
+    # Version: 1.1.2
+    # Input: arg1: 'date'-parsable timestamp string (optional)
+    # Output: stdout: date (ISO-8601, no separators)
+    # Depends: bash 5.0.3, date 8.30, yell()
+    local argTime timeCurrent timeInput dateCurrentShort
+
+    argTime="$1";
+    # Get Current Time
+    timeCurrent="$(date --iso-8601=seconds)" ; # Produce `date`-parsable current timestamp with resolution of 1 second.
+    # Decide to parse current or supplied date
+    ## Check if time argument empty
+    if [[ -z "$argTime" ]]; then
+       ## T: Time argument empty, use current time
+       timeInput="$timeCurrent";
+    else
+       ## F: Time argument exists, validate time
+       if date --date="$argTime" 1>/dev/null 2>&1; then
+           ### T: Time argument is valid; use it
+           timeInput="$argTime";
+       else
+           ### F: Time argument not valid; exit
+           yell "ERROR:Invalid time argument supplied. Exiting."; exit 1;
+       fi;
+    fi;
+    # Construct and deliver separator-les date string    
+    dateCurrentShort="$(date -d "$timeInput" +%Y%m%d)"; # Produce separator-less current date with resolution 1 day.
+    echo "$dateCurrentShort";
+} # Get YYYYmmdd
+setTimeZoneEV(){
+    # Desc: Set time zone environment variable TZ
+    # Usage: setTimeZoneEV arg1
+    # Version 0.1.2
+    # Input: arg1: 'date'-compatible timezone string (ex: "America/New_York")
+    #        TZDIR env var (optional; default: "/usr/share/zoneinfo")
+    # Output: exports TZ
+    #         exit code 0 on success
+    #         exit code 1 on incorrect number of arguments
+    #         exit code 2 if unable to validate arg1
+    # Depends: yell(), printenv 8.30, bash 5.0.3
+    # Tested on: Debian 10
+    local tzDir returnState argTimeZone
+
+    argTimeZone="$1"
+    if ! [[ $# -eq 1 ]]; then
+       yell "ERROR:Invalid argument count.";
+       return 1;
+    fi
+
+    # Read TZDIR env var if available
+    if printenv TZDIR 1>/dev/null 2>&1; then
+       tzDir="$(printenv TZDIR)";
+    else
+       tzDir="/usr/share/zoneinfo";
+    fi
+    
+    # Validate TZ string
+    if ! [[ -f "$tzDir"/"$argTimeZone" ]]; then
+       yell "ERROR:Invalid time zone argument.";
+       return 2;
+    else
+    # Export ARG1 as TZ environment variable
+       TZ="$argTimeZone" && export TZ && returnState="true";
+    fi
+
+    # Determine function return code
+    if [ "$returnState" = "true" ]; then
+       return 0;
+    fi
+} # Exports TZ environment variable
 showUsage() {
     cat <<'EOF'
     USAGE:
         cmd | bklog [ options ]
-    echoerr
+
     OPTIONS:
         -h, --help
                 Display help information.
@@ -287,7 +458,7 @@ showUsage() {
         -B, --script-ttl [time element string]
                 Specify custom script time-to-live in seconds (default: "day")
                 Valid values: "day", "hour"
-    echoerr
+
     EXAMPLE: (bash script lines)
     $ gpspipe -r | /bin/bash bklog -v -e -c -z "UTC" -t "/dev/shm" \
     -r age1mrmfnwhtlprn4jquex0ukmwcm7y2nxlphuzgsgv8ew2k9mewy3rs8u7su5 \
@@ -295,124 +466,12 @@ showUsage() {
     -R ~/.config/bklog/recipients -w ".nmea" -b 300 -B "day" \
     -o ~/Sync/Logs -l "location" \
     -p "gpsbabel -i nmea -f - -o gpx -F - " ".gpx" \
-    -p "gpsbabel -i nmea -f - -o kml -F - " ".gpx"
+    -p "gpsbabel -i nmea -f - -o kml -F - " ".kml"
 EOF
 } # Display information on how to use this script.
 showVersion() {
     yell "$scriptVersion"
 } # Display script version.
-setTimeZoneEV(){
-    # Desc: Set time zone environment variable TZ
-    # Usage: setTimeZoneEV arg1
-    # Version 0.1.2
-    # Input: arg1: 'date'-compatible timezone string (ex: "America/New_York")
-    #        TZDIR env var (optional; default: "/usr/share/zoneinfo")
-    # Output: exports TZ
-    #         exit code 0 on success
-    #         exit code 1 on incorrect number of arguments
-    #         exit code 2 if unable to validate arg1
-    # Depends: yell(), printenv 8.30, bash 5.0.3
-    # Tested on: Debian 10
-    local tzDir returnState argTimeZone
-
-    argTimeZone="$1"
-    if ! [[ $# -eq 1 ]]; then
-       yell "ERROR:Invalid argument count.";
-       return 1;
-    fi
-
-    # Read TZDIR env var if available
-    if printenv TZDIR 1>/dev/null 2>&1; then
-       tzDir="$(printenv TZDIR)";
-    else
-       tzDir="/usr/share/zoneinfo";
-    fi
-    
-    # Validate TZ string
-    if ! [[ -f "$tzDir"/"$argTimeZone" ]]; then
-       yell "ERROR:Invalid time zone argument.";
-       return 2;
-    else
-    # Export ARG1 as TZ environment variable
-       TZ="$argTimeZone" && export TZ && returnState="true";
-    fi
-
-    # Determine function return code
-    if [ "$returnState" = "true" ]; then
-       return 0;
-    fi
-} # Exports TZ environment variable
-dateShort(){
-    # Desc: Date without separators (YYYYmmdd)
-    # Usage: dateShort ([str date])
-    # Version: 1.1.2
-    # Input: arg1: 'date'-parsable timestamp string (optional)
-    # Output: stdout: date (ISO-8601, no separators)
-    # Depends: bash 5.0.3, date 8.30, yell()
-    local argTime timeCurrent timeInput dateCurrentShort
-
-    argTime="$1";
-    # Get Current Time
-    timeCurrent="$(date --iso-8601=seconds)" ; # Produce `date`-parsable current timestamp with resolution of 1 second.
-    # Decide to parse current or supplied date
-    ## Check if time argument empty
-    if [[ -z "$argTime" ]]; then
-       ## T: Time argument empty, use current time
-       timeInput="$timeCurrent";
-    else
-       ## F: Time argument exists, validate time
-       if date --date="$argTime" 1>/dev/null 2>&1; then
-           ### T: Time argument is valid; use it
-           timeInput="$argTime";
-       else
-           ### F: Time argument not valid; exit
-           yell "ERROR:Invalid time argument supplied. Exiting."; exit 1;
-       fi;
-    fi;
-    # Construct and deliver separator-les date string    
-    dateCurrentShort="$(date -d "$timeInput" +%Y%m%d)"; # Produce separator-less current date with resolution 1 day.
-    echo "$dateCurrentShort";
-} # Get YYYYmmdd
-appendFileTar(){
-    # Desc: Appends [processed] file to tar
-    # Usage: appendFileTar [file path] [name of file to be inserted] [tar path] [temp dir] ([process cmd])
-    # Version: 2.0.1
-    # Input: arg1: path of file to be (processed and) written
-    #        arg2: name to use for file inserted into tar
-    #        arg3: tar archive path (must exist first)
-    #        arg4: temporary working dir
-    #        arg5: (optional) command string to process file (ex: "gpsbabel -i nmea -f - -o kml -F - ")
-    # Output: file written to disk
-    # Example: decrypt multiple large files in parallel
-    #          appendFileTar /tmp/largefile1.gpg "largefile1" $HOME/archive.tar /tmp "gpg --decrypt" &
-    #          appendFileTar /tmp/largefile2.gpg "largefile2" $HOME/archive.tar /tmp "gpg --decrypt" &
-    #          appendFileTar /tmp/largefile3.gpg "largefile3" $HOME/archive.tar /tmp "gpg --decrypt" &
-    # Depends: bash 5.0.3, tar 1.30, cat 8.30, yell()
-    local fn fileName tarPath tmpDir
-
-    # Save function name
-    fn="${FUNCNAME[0]}";
-    #yell "DEBUG:STATUS:$fn:Started appendFileTar()."
-    
-    # Set file name
-    if ! [ -z "$2" ]; then fileName="$2"; else yell "ERROR:$fn:Not enough arguments."; exit 1; fi
-    # Check tar path is a file
-    if [ -f "$3" ]; then tarPath="$3"; else yell "ERROR:$fn:Tar archive arg not a file:$3"; exit 1; fi
-    # Check temp dir arg
-    if ! [ -z "$4" ]; then tmpDir="$4"; else yell "ERROR:$fn:No temporary working dir set."; exit 1; fi
-    # Set command strings
-    if ! [ -z "$5" ]; then cmd1="$5"; else cmd1="cat "; fi # command string
-
-    # Input command string
-    cmd0="cat \"\$1\"";
-    
-    # Write to temporary working dir
-    eval "$cmd0 | $cmd1" > "$tmpDir"/"$fileName";
-
-    # Append to tar
-    try tar --append --directory="$tmpDir" --file="$tarPath" "$fileName";
-    #yell "DEBUG:STATUS:$fn:Finished appendFileTar()."
-} # Append [processed] file to Tar archive
 timeDuration(){
     # Desc: Given seconds, output ISO-8601 duration string
     # Ref/Attrib: ISO-8601:2004(E), ยง4.4.4.2 Representations of time intervals by duration and context information
@@ -605,6 +664,128 @@ timeDuration(){
     fi
 
 } # Get duration (ex: PT10M4S )
+timeUntilNextDay(){
+    # Desc: Report seconds until next day.
+    # Version: 1.0.2
+    # Output: stdout: integer seconds until next day
+    # Output: exit code 0 if stdout > 0; 1 if stdout = 0; 2 if stdout < 0
+    # Usage: timeUntilNextDay
+    # Usage: if ! myTTL="$(timeUntilNextDay)"; then yell "ERROR in if statement"; exit 1; fi
+    # Depends: date 8, echo 8, yell, try
+    
+    local returnState timeCurrent timeNextDay secondsUntilNextDay returnState
+    timeCurrent="$(date --iso-8601=seconds)" ; # Produce `date`-parsable current timestamp with resolution of 1 second.
+    timeNextDay="$(date -d "$timeCurrent next day" --iso-8601=date)"; # Produce timestamp of beginning of tomorrow with resolution of 1 second.
+    secondsUntilNextDay="$(( $(date +%s -d "$timeNextDay") - $(date +%s -d "$timeCurrent") ))" ; # Calculate seconds until closest future midnight (res. 1 second).
+    if [[ "$secondsUntilNextDay" -gt 0 ]]; then
+       returnState="true";
+    elif [[ "$secondsUntilNextDay" -eq 0 ]]; then
+       returnState="warning_zero";
+       yell "WARNING:Reported time until next day exactly zero.";
+    elif [[ "$secondsUntilNextDay" -lt 0 ]]; then
+       returnState="warning_negative";
+       yell "WARNING:Reported time until next day is negative.";
+    fi
+
+    try echo "$secondsUntilNextDay"; # Report
+    
+    # Determine function return code
+    if [[ "$returnState" = "true" ]]; then
+       return 0;
+    elif [[ "$returnState" = "warning_zero" ]]; then
+       return 1;
+    elif [[ "$returnState" = "warning_negative" ]]; then
+       return 2;
+    fi
+} # Report seconds until next day
+timeUntilNextHour(){
+    # Desc: Report seconds until next hour
+    # Version 1.0.1
+    # Output: stdout: integer seconds until next hour
+    # Output: exit code 0 if stdout > 0; 1 if stdout = 0; 2 if stdout < 0
+    # Usage: timeUntilNextHour
+    # Usage: if ! myTTL="$(timeUntilNextHour)"; then yell "ERROR in if statement"; exit 1; fi
+    
+    local returnState timeCurrent timeNextHour secondsUntilNextHour
+    timeCurrent="$(date --iso-8601=seconds)"; # Produce `date`-parsable current timestamp with resolution of 1 second.
+    timeNextHour="$(date -d "$timeCurrent next hour" --iso-8601=hours)"; # Produce `date`-parsable current time stamp with resolution of 1 second.
+    secondsUntilNextHour="$(( $(date +%s -d "$timeNextHour") - $(date +%s -d "$timeCurrent") ))"; # Calculate seconds until next hour (res. 1 second).
+    if [[ "$secondsUntilNextHour" -gt 0 ]]; then
+       returnState="true";
+    elif [[ "$secondsUntilNextHour" -eq 0 ]]; then
+       returnState="warning_zero";
+       yell "WARNING:Reported time until next hour exactly zero.";
+    elif [[ "$secondsUntilNextHour" -lt 0 ]]; then
+       returnState="warning_negative";
+       yell "WARNING:Reported time until next hour is negative.";
+    fi;
+
+    try echo "$secondsUntilNextHour"; # Report
+    
+    # Determine function return code
+    if [[ "$returnState" = "true" ]]; then
+       return 0;
+    elif [[ "$returnState" = "warning_zero" ]]; then
+       return 1;
+    elif [[ "$returnState" = "warning_negative" ]]; then
+       return 2;
+    fi;
+} # Report seconds until next hour
+validateInput() {
+    # Desc: Validates Input
+    # Usage: validateInput [str input] [str input type]
+    # Version: 0.3.1
+    # Input: arg1: string to validate
+    #        arg2: string specifying input type (ex:"ssh_pubkey")
+    # Output: return code 0: if input string matched specified string type
+    # Depends: bash 5, yell()
+
+    local fn argInput argType
+
+    # Save function name
+    fn="${FUNCNAME[0]}";
+
+    # Process arguments
+    argInput="$1";
+    argType="$2";
+    if [[ $# -gt 2 ]]; then yell "ERROR:$0:$fn:Too many arguments."; exit 1; fi;
+
+    # Check for blank
+    if [[ -z "$argInput" ]]; then return 1; fi
+    
+    # Define input types
+    ## ssh_pubkey
+    ### Check for alnum/dash base64 (ex: "ssh-rsa AAAAB3NzaC1yc2EAAA")
+    if [[ "$argType" = "ssh_pubkey" ]]; then
+       if [[ "$argInput" =~ ^[[:alnum:]-]*[\ ]*[[:alnum:]+/=]*$ ]]; then
+           return 0; fi; fi;
+
+    ## age_pubkey
+    ### Check for age1[:bech32:]
+    if [[ "$argType" = "age_pubkey" ]]; then
+       if [[ "$argInput" =~ ^age1[qpzry9x8gf2tvdw0s3jn54khce6mua7l]*$ ]]; then
+           return 0; fi; fi
+
+    ## integer
+    if [[ "$argType" = "integer" ]]; then
+       if [[ "$argInput" =~ ^[[:digit:]]*$ ]]; then
+           return 0; fi; fi;
+
+    ## time element (year, month, week, day, hour, minute, second)
+    if [[ "$argType" = "time_element" ]]; then
+       if [[ "$argInput" = "year" ]] || \
+              [[ "$argInput" = "month" ]] || \
+              [[ "$argInput" = "week" ]] || \
+              [[ "$argInput" = "day" ]] || \
+              [[ "$argInput" = "hour" ]] || \
+              [[ "$argInput" = "minute" ]] || \
+              [[ "$argInput" = "second" ]]; then
+           return 0; fi; fi;
+    
+    # Return error if no condition matched.
+    return 1;
+} # Validates strings
+
 magicInitWorkingDir() {
     # Desc: Determine temporary working directory from defaults or user input
     # Usage: magicInitWorkingDir
@@ -736,6 +917,12 @@ magicParseProcessStrings() {
     local rawFileExt
 
     vbm "STATUS:Starting magicParseProcessStrings() function.";
+    vbm "var:optionProcString:$optionProcString";
+    vbm "var:optionNoStoreRaw:$optionNoStoreRaw";
+    vbm "var:optionStoreRaw:$optionStoreRaw";
+    vbm "var:argRawFileExt:$argRawFileExt";
+    vbm "ary:argProcStrings:${argProcStrings[*]}";
+    vbm "ary:argProcFileExts:${argProcFileExts[*]}"
     # Validate input
     ## Validate argRawFileExt
     if [[ "$argRawFileExt" =~ ^[.][[:alnum:]]*$ ]]; then
@@ -779,8 +966,8 @@ magicParseProcessStrings() {
        if [[ -z "$element" ]]; then yell "ERROR:Empty output file extension specified. Exiting."; exit 1; fi; done
     ## Make sure that no process string starts with '-' (ex: if only one arg supplied after '-p' option)
     for element in "${argProcStrings[@]}"; do
-       if [[ ! "$element" =~ ^[-][[:print:]]*$ ]] && [[ "$element" =~ ^[[:print:]]*$ ]]; then
-           yell "ERROR:Illegal character '-' at start of process string element. Option syntax error?";
+       if [[ "$element" =~ ^[-][[:print:]]*$ ]] && [[ ! "$element" =~ ^[[:print:]]*$ ]]; then
+           yell "ERROR:Illegal character '-' at start of process string element:\"$element\"";
            exit 1; fi; done;
     vbm "STATUS:Quick check shows argProcStrings and argProcFileExts appear to have valid contents.";
     procStrings=("${argProcStrings[@]}"); # Export process command strings
@@ -1028,8 +1215,6 @@ main() {
     magicParseProcessStrings; # Sets arrays: procStrings, procFileExts
     ## React to "-l" (output file label) option
     magicParseLabel; # sets label (ex: "_location")
-    ## React to "-w" (how to name raw stdin file) option
-    magicParseStoreRaw; # sets raw_suffix
 
     # Perform secondary setup operations
     ## Set script lifespan (scriptTTL from scriptTTL_TE)
@@ -1050,15 +1235,10 @@ main() {
     bufferRound=0;
     while [[ $SECONDS -lt "scriptTTL" ]]; do
        bufferTOD="$((SECONDS + bufferTTL))"; # Set buffer round time-of-death
-       lineCount=0; # Debug counter
        # Consume stdin to fill buffer until buffer time-of-death (TOD) arrives
        while read -r -t "$bufferTTL" line && [[ $SECONDS -lt "$bufferTOD" ]]; do
            # Append line to buffer array
            buffer+=("$line");
-           echo "DEBUG:Processing line:$lineCount";
-           echo "DEBUG:Current line   :$line";
-           echo "DEBUG:buf elem count :${#buffer[@]}";
-           ((lineCount++));
        done;
        # Create dir_tmp if missing
        if ! [[ -d "$dir_tmp" ]]; then yell "ERROR:dir_tmp existence failure:$dir_tmp"; try mkdir "$dir_tmp" && vbm "DEBUG:Working dir recreated dir_tmp:$dir_tmp"; fi