debug(bklog):Add debug msgs in magicParseProcessStrings

Add debug msgs to try and debug error in procStrings and procFileExts
arrays.

fix(bklog):Fix how procStrings and procFileExts arrays assembled

Default raw data was not being included in output file processing
since procStrings and procFileExts arrays were being completely
overwritten instead of being appended by argProcStrings array
assembled in magicParseProcessStrings() function.

style(bklog):Combine functions that parse '-r' and '-R'

Combine functions magicParseRecipientArgs() and
magicParseRecipientDir() into magicParseRecipients().

Group showUsage() function with other script-specific functions.

debug(bklog):Format DEBUG messages to align better

debug(bklog):Add debug msgs to write function

debug(bklog):Add various debug msgs with function names

fix(bklog):Add missing function dateTimeShort()

test(bklog):Add debug message in main loop

test(bklog):Add debug messages in magic functions

debug(bklog):Remove debug msgs from main loop

fix(bklog):Convert debug echos into vbm()

fix(bklog):Add missing functions, remove ref to removed func

+checkMakeTar()
+timeUntilNextDay()
+timeUntilNextHour()

-magicParseStoreRaw() ref

fix(bklog):Fix boolean '-' test in magicParseProcessStrings()

test(bklog):Add debug msg to magicParseProcessStrings()

test(bklog):Add debug msgs to magicParseProcessStrings()

fix(bklog):Add missing validateInput()

fix(bklog):Add missing checkAgePubkey(), reorder functions

chore(bklog):Remove extraneous echoerr references

test(bklog):Minor usage correction

fix(bklog):Add missing function timeDuration() from bkgpslog

Rearrange function declarations

feat(bklog):Copy bkgpslog functions, rewrite main

Merge branch 'develop' into feature/bash-logging-filter/BK-2020-02

style(bkgpslog):Change VAR_NAMES to varNames

Change all-caps variable names to mix of lowercase and uppercase names
in order to avoid naming conflicts with environment variables.

Ref: https://mywiki.wooledge.org/BashGuide/InputAndOutput

chore(bkgpslog):Change allcaps varnames to lower/uppercase

chore(bklog):Add more metadata

feat(bklog):Add metadata, version

feat(bklog):Create barebones logging script for general logger

fix(bkgpslog):Recreate working dir if missing

test(bkgpslog):Add sticky bit to DIR_TMP

Add debug message when DIR_TMP removal is completed.

style(bkgpslog):Minor boilerplate modification

fix(bkgpslog):Fix PATHOUT_TAR filename dateShort() call

test(bkgpslog):Test date format bug

test(bkgpslog):Add debug messages

Bug still exists if `bkgpslog` run by cron instead of directly by
user.

test(bkgpslog):Minor debug msg

test(bkgpslog):Add debug tests

chore(bkgpslog):Minor verbose message fix

fix(bkgpslog):Make static initial BUFFER_TTL dynamic

Static value was used during debugging but should have been made
dynamic.

chore(bkgpslog):Add minor comment

feat(bkgpslog):Add PID control loop for buffer start sched

Add PID loop to adjust time delay between when buffer read-write jobs
are spun off in main while loop. The adjustments are made in order to
keep startup times of write jobs BUFFER_TTL seconds apart. This PID
loop calculation dynamically accounts for any future synchronous
calculations that may be added in the main while loop (including
itself).

Merge branch 'feature/location-logging/EVA-2020-02' into develop

fix(bkgpslog):Remove debug sleep

test(bkgpslog):More debug msgs

test(bkgpslog):Add debug messages

fix(bkgpslog):fix pid float calc

test(bkgpslog):more pid float testing

fix(bkgpslog):Fix float calc in buffer PID adjust

test(bkgpslog):More PID testing

test(bkgpslog):Fix debug msgs

test(bkgpslog):Test different PID calc

test(bkgpslog):debug:Shift magicBufferSleepPID

test(bkgpslog):Add debug code and negative int catch

test(bkgpslog):Debug testing PID loop

feat(bkgpslog):Add PID correction of buffer round timing

Add function to apply PID (proportional, integral, derivative)
adjustments to the sleep period between each buffer round in order to
compensate for lag caused by synchronous calculations between each
buffer round (including the PID adjustment calculation itself).

fix(bkgpslog):Remove nuisance error if -R not set

Error was appearing if -e were set but -R wasn't. -R is not a required
option.

fix(bkgpslog):Fix recPubKeysValid array bloat

Implemented recPubKeysValidStatic array for magicParseRecipientDir to
process instead of recPubKeysValid array.

fix(bkgpslog):Actually add recipient watch dir check

test(bkgpslog):Add verbose debug msg to recipient dir code

fix(bkgpslog):Fix error in encryption option handling, bump ver

Note: 0.4.0 version includes new '-b', '-B' options for specifying buffer and
script time-to-live values.

Note: 0.4.0 version includes new '-R' option for specifying directory
containing files specifying recipient pubkeys.

feat(bkgpslog):Enable custom TTL for buffer and script

New options: '-b' (buffer), '-B' (script).

Updated showUsage().

fix(bkgpslog):Fix broken tempdir var name

fix(bkgpslog):Add '-e'/'-R' checks in -R parse

Also add comments to magic functions in main()

fix(bkgpslog):Check -e, -r, -R option combinations; update usage

feat(bkgpslog):Add functions, group code into functions

Add several fucntions to add future new feature (recipient dir watch)
as well as to group existing code blocks into their own functions for
readability. Changes include:

* Add checkAgePubkey() function: checks that a provided string doesn't
throw an error when fed as a recipient string to `age`.

* Pushed several code blocks into their own "magic" functions
** magicParseRecipientDir() : (future feature): To be run at each
buffer session to update the recipient array in response to changes in
a specified recipient directory.
** magicParseRecipientArgs(): Parses strings provided by '-r'
option and format output accordingly. Existing code.
** magicParseCompressionArgs(): Responds to '-c' option by specifying
compression function and output file suffix.
* Update showUsage() to document future '-R' recipient dir option.

Merge branch 'feature/location-logging/EVA-2020-02' into develop

chore(bkgpslog):Bump version number to include recent change

Merge branch 'feature/location-logging/EVA-2020-02' into develop

feat(bkgpslog):Add additional validation for age pubkeys

chore(bkgpslog):Confirm age can encrypt to ssh pubkey string

Ssh pubkey strings have a space in them which was breaking
appendFileTar() function. 'eval' was used to fix how appendFileTar()
and appendArgTar() execute command strings.

fix(bkgpslog):Use eval to build command strings

Use eval to build command strings instead of simply putting bare
unquoted variable. This is necessary because the `recipients` variable
used to build a command to encrypt files may contain quotes if one of
the recipients is an ssh key which may have a space:

    ssh-rsa AAAAB...

This should fix the inability of `bkgpslog` to accept quoted ssh
pubkey strings as a specified `-r` option argument.

test(bkgpslog):Test recipient string quoting

recipient strings with spaces in them don't fare well with `\"` in
them when such strings are used to create new strings.

fix(bkgpslog):Fix pubkey strings with spaces

ssh pubkeys have a space in them and caused age encryption operation
to fail.

doc(bkgpslog):Add TODO for future features

- recipient watch folder

- simplify gps data

doc(bkgpslog-plan):Closed TODO item

style(bkgpslog):Minor semicolons

chore(bkgpslog):Minor comment cleanup

fix(bkgpslog):Simplify main loop further

Move `gpspipe` command itself into write function.

fix(bkgpslog):Add missing gpspipe option

Need `-o` to write to file.

fix(bkgpslog):Reduce logging downtime between buffer rounds

Reduce logging downtime between buffer rounds by moving commands into
the asynchronous `magicWriteBuffer()` function that is spun off
immediately after `gpspipe` has collected data.

Add functionality to `dateTimeShort()` and `dateShort` so the start
time of each saved chunk appended to the `tar` archive can be
calculated indirectly from when `magicWriteBuffer()` starts rather
than performing slow `date` and associated bash variable changes in
the main loop. This start time is needed to name each inserted file as
well as to identify which `tar` file to insert into.

Save gpspipe buffer data `/dev/shm` instead of a Bash variable.

Add `appendFileTar()` function to facilitate reading and processing of
buffer data from `/dev/shm`.

doc(bkgpslog):Add note to simplify main loop

fix(bkgpslog):Increase buffer period 60s to 5m to reduce write freq

fix(bkgpslog):Remove debug yells

style(bkgpslog):checkMakeTar():Add/remove debug code

test(bkgpslog):Bump version number to 0.3.0

Incompatible changes from 0.2:

- File writes asynchronous from main script forced to be sequential to
one another to avoid simultaneous writes to same file. Tar write code
consolidated.

- VERSION file format changed to include more fields. VERSION file
generation code cosolidated.

fix(bkgpslog):Clarify echoed newlines per Shellcheck

Changed echo "blah""\n""blah" into echo "blah""\\n""blah"

style(bkgpslog):Update timeDuration

feat(bkgpslog):Include more fields in VERSION

These fields are included to automatically-generated VERSION file
included when a new tar is generated or the script is restarted:

- SCRIPT_VERSION  : Version of bkgpslog being run.
- SCRIPT_NAME     : Name of the script being run ("bkgpslog").
- SCRIPT_URL      : URL where script can be downloaded.
- AGE_VERSION     : Version of age (encryption program) used.
- AGE_URL         : URL where age can be downloaded.
- DATE            : Creation timestamp (ISO-8601).
- HOSTNAME        : Hostname of device running script.
- PUBKEY_[n]      : Pubkey string used by age to encrypt.

chore(bkgpslog):bump to version 0.2.1 from 0.2.0

feat(bkgpslog):Change format in VERSION file

From one line to multiline

doc(bkgpslog):Update plan doc

feat(bkgpslog): Consolidate VERSION writing, update functions

Bump version to 0.2.0 from 0.1.0.

style(timeUntilNextDay()). Set as version 1.0.0. Lowercased
returnState variable messages in function return code handling.

fix(timeDuration()). Fix missing $ in bash variable. Set to Version
1.0.0. Removed unused boolean variables.

feat(magicWriteVersion()): Add function to consolidate how VERSION
file is generated; VERSION file can be generated at start or if output
tar goes missing.

feat(magicWriteBuffer()): Take checkMakeTar() exit status into account
in order to determine whether or not to rerun
magicWriteVersion(). Relevant if output tar archive goes missing.

feat(bkgpslog):Include exit codes in checkMakeTar

The change is necessary to decide if VERSION file must be added in
case output tar is deleted between writes.

feat(bkgpslog):Consolidate tar validation/creation

Consolidate how output tar file is validated (if it already exists)
and/or created. checkMakeTar() function added for this purpose.

Add checkMakeTar() in `magicWriteBuffer()` in case output tar file is
deleted between writes.

feat(bkgpslog):Force ordered write operations with wait

Use `wait` built-in to force each detached process that appends
location data to the output tar to wait until all other detached
processes complete. This will prevent the magicWriteBuffer() and
appendArgTar() functions from attempting to append to the same tar at
the same time, causing script failure.

debug(bkgpslog):Minor syntax formatting: add semicolons

fix(bkgpslog):Fix command strings in magicWriteBuffer

fix(bkgpslog):Move chunk cleanup into magicWriteBuffer func

fix(bkgpslog):Disable old tar append code

debug(bkgpslog):Add debug messages for functions

fix(bkgpslog):Arg index error in appendArgTar()

debug(bkgpslog):Add more debug data