debug(bklog):Testing duration code

debug(bklog):Debugging duration code

fix(bklog):Fix gap in duration times

Gap caused by not accounting for synchronous calcs between timestamps
marking duration. Using method planned in `bklog-plan.org`.

fix(bklog):timeDuration():Fix duration 0 error.

Duration of "0" was erroneously being converted to "P" instead of
"PT0S".

doc(bklog-plan):Add TODO item:account for input script failure

Merge branch 'develop' into feature/bash-logging-filter/BK-2020-02

debug(bklog):Fix SECONDS advancing

debug(bklog):Add minor debug msg

debug(bklog):Add debug messages

bklog is malfunctioning. Adding debug messages.

fix(bklog):Fix buffer drift via SECONDS

==Change 1==
Fix drift in when bklog starts reading data via `while read` by
enforcing buffer termination when SECONDS (script variable that
increments every second) rises above a number determined by the
current bufferRound number and bufferTTL.

==Change 2==
Also initially advance SECONDS so it aligns with the remainder of
dividing the current seconds remaining in the day by bufferTTL. The
result should be that, if the user specifies a bufferTTL value that is
a clean fraction of a time element (ex: a bufferTTL of 5 minutes = 300
seconds), then each buffer round should start at a clean fraction of
absolute time with respect to the day (ex: 02:05, 02:10, 02:15,
etc.). This may assist searching through saved files since instead of
files named:

20200714T000019+0000--PT5M0S..hostname_location.nmea.gz.age
20200714T000521+0000--PT5M0S..hostname_location.nmea.gz.age
20200714T001023+0000--PT5M0S..hostname_location.nmea.gz.age
20200714T001525+0000--PT5M0S..hostname_location.nmea.gz.age
20200714T002027+0000--PT5M0S..hostname_location.nmea.gz.age
20200714T002529+0000--PT5M0S..hostname_location.nmea.gz.age
20200714T003031+0000--PT5M0S..hostname_location.nmea.gz.age
20200714T003533+0000--PT5M0S..hostname_location.nmea.gz.age

they will be named something more like:

20200714T000000+0000--PT5M0S..hostname_location.nmea.gz.age
20200714T000500+0000--PT5M0S..hostname_location.nmea.gz.age
20200714T001000+0000--PT5M0S..hostname_location.nmea.gz.age
20200714T001500+0000--PT5M0S..hostname_location.nmea.gz.age
20200714T002000+0000--PT5M0S..hostname_location.nmea.gz.age
20200714T002500+0000--PT5M0S..hostname_location.nmea.gz.age
20200714T003000+0000--PT5M0S..hostname_location.nmea.gz.age
20200714T003500+0000--PT5M0S..hostname_location.nmea.gz.age

==Change 3==

Fix how the ISO-8601 duration string is calculated. Instead of using a
fixed value of `bufferTTL` seconds, record the epoch start and end
times (in seconds since 1970-01-01) of the main data gathering loop
and then calculate the difference. Now, actual deviations in buffer
gathering durations (ex: the first buffer round will likely be shorter
than a normal one) will be accurately represented.

doc(bklog-plan):Add TODO task: correct drift of SECONDS

fix(bklog):Add 2nd try to checkMakeTar() if tar --list fails

doc(exec):Create coding plan for bklog, retire bkgpslog plan

Create coding plan for `bklog` at `exec/bklog-plan.org`.

Retire coding plan for `bkgpslog` at `exec/bkgpslog-plan.org`.

doc(bklog):Update location readme with bklog details

chore(bklog):Update vbm() to include script name

fix(pressure):bmp388.py:Make executable

doc(pressure):Note python-smbus dependency for bmp388.py script

feat(pressure):Add python script for outputting pressure to stdout

fix(bklog):Fix debug and status messages

test(bklog):Uncomment cleanup line since script functional

Use of appendFileTar() to append a file to a tar using the file's same
location as a temporary working file caused problems. More direct
'eval' command string formation and 'tar --append' usage solved empty
file problem.

debug(bklog):Test tar --append

debug(bklog):Test more direct tar --append operation

chore(bklog):Bump version for recent commit change.

fix(bklog):Add missing appendArgTar() function

Note:Used by magicWriteVersion() function.

debug(bklog):Fix version appending; test filewrite change

debug(bklog):Debugging write command

Note: bklog appending appropriately named files to tar but they are
all empty.

debug(bklog):Add debug msgs in magicParseProcessStrings

Add debug msgs to try and debug error in procStrings and procFileExts
arrays.

fix(bklog):Fix how procStrings and procFileExts arrays assembled

Default raw data was not being included in output file processing
since procStrings and procFileExts arrays were being completely
overwritten instead of being appended by argProcStrings array
assembled in magicParseProcessStrings() function.

style(bklog):Combine functions that parse '-r' and '-R'

Combine functions magicParseRecipientArgs() and
magicParseRecipientDir() into magicParseRecipients().

Group showUsage() function with other script-specific functions.

debug(bklog):Format DEBUG messages to align better

debug(bklog):Add debug msgs to write function

debug(bklog):Add various debug msgs with function names

fix(bklog):Add missing function dateTimeShort()

test(bklog):Add debug message in main loop

test(bklog):Add debug messages in magic functions

debug(bklog):Remove debug msgs from main loop

fix(bklog):Convert debug echos into vbm()

fix(bklog):Add missing functions, remove ref to removed func

+checkMakeTar()
+timeUntilNextDay()
+timeUntilNextHour()

-magicParseStoreRaw() ref

fix(bklog):Fix boolean '-' test in magicParseProcessStrings()

test(bklog):Add debug msg to magicParseProcessStrings()

test(bklog):Add debug msgs to magicParseProcessStrings()

fix(bklog):Add missing validateInput()

fix(bklog):Add missing checkAgePubkey(), reorder functions

chore(bklog):Remove extraneous echoerr references

test(bklog):Minor usage correction

fix(bklog):Add missing function timeDuration() from bkgpslog

Rearrange function declarations

feat(bklog):Copy bkgpslog functions, rewrite main

Merge branch 'develop' into feature/bash-logging-filter/BK-2020-02

style(bkgpslog):Change VAR_NAMES to varNames

Change all-caps variable names to mix of lowercase and uppercase names
in order to avoid naming conflicts with environment variables.

Ref: https://mywiki.wooledge.org/BashGuide/InputAndOutput

chore(bkgpslog):Change allcaps varnames to lower/uppercase

chore(bklog):Add more metadata

feat(bklog):Add metadata, version

feat(bklog):Create barebones logging script for general logger

fix(bkgpslog):Recreate working dir if missing

test(bkgpslog):Add sticky bit to DIR_TMP

Add debug message when DIR_TMP removal is completed.

style(bkgpslog):Minor boilerplate modification

fix(bkgpslog):Fix PATHOUT_TAR filename dateShort() call

test(bkgpslog):Test date format bug

test(bkgpslog):Add debug messages

Bug still exists if `bkgpslog` run by cron instead of directly by
user.

test(bkgpslog):Minor debug msg

test(bkgpslog):Add debug tests

chore(bkgpslog):Minor verbose message fix

fix(bkgpslog):Make static initial BUFFER_TTL dynamic

Static value was used during debugging but should have been made
dynamic.

chore(bkgpslog):Add minor comment

feat(bkgpslog):Add PID control loop for buffer start sched

Add PID loop to adjust time delay between when buffer read-write jobs
are spun off in main while loop. The adjustments are made in order to
keep startup times of write jobs BUFFER_TTL seconds apart. This PID
loop calculation dynamically accounts for any future synchronous
calculations that may be added in the main while loop (including
itself).

Merge branch 'feature/location-logging/EVA-2020-02' into develop

fix(bkgpslog):Remove debug sleep

test(bkgpslog):More debug msgs

test(bkgpslog):Add debug messages

fix(bkgpslog):fix pid float calc

test(bkgpslog):more pid float testing

fix(bkgpslog):Fix float calc in buffer PID adjust

test(bkgpslog):More PID testing

test(bkgpslog):Fix debug msgs

test(bkgpslog):Test different PID calc

test(bkgpslog):debug:Shift magicBufferSleepPID

test(bkgpslog):Add debug code and negative int catch

test(bkgpslog):Debug testing PID loop

feat(bkgpslog):Add PID correction of buffer round timing

Add function to apply PID (proportional, integral, derivative)
adjustments to the sleep period between each buffer round in order to
compensate for lag caused by synchronous calculations between each
buffer round (including the PID adjustment calculation itself).

fix(bkgpslog):Remove nuisance error if -R not set

Error was appearing if -e were set but -R wasn't. -R is not a required
option.

fix(bkgpslog):Fix recPubKeysValid array bloat

Implemented recPubKeysValidStatic array for magicParseRecipientDir to
process instead of recPubKeysValid array.

fix(bkgpslog):Actually add recipient watch dir check

test(bkgpslog):Add verbose debug msg to recipient dir code

fix(bkgpslog):Fix error in encryption option handling, bump ver

Note: 0.4.0 version includes new '-b', '-B' options for specifying buffer and
script time-to-live values.

Note: 0.4.0 version includes new '-R' option for specifying directory
containing files specifying recipient pubkeys.

feat(bkgpslog):Enable custom TTL for buffer and script

New options: '-b' (buffer), '-B' (script).

Updated showUsage().

fix(bkgpslog):Fix broken tempdir var name

fix(bkgpslog):Add '-e'/'-R' checks in -R parse

Also add comments to magic functions in main()

fix(bkgpslog):Check -e, -r, -R option combinations; update usage

feat(bkgpslog):Add functions, group code into functions

Add several fucntions to add future new feature (recipient dir watch)
as well as to group existing code blocks into their own functions for
readability. Changes include:

* Add checkAgePubkey() function: checks that a provided string doesn't
throw an error when fed as a recipient string to `age`.

* Pushed several code blocks into their own "magic" functions
** magicParseRecipientDir() : (future feature): To be run at each
buffer session to update the recipient array in response to changes in
a specified recipient directory.
** magicParseRecipientArgs(): Parses strings provided by '-r'
option and format output accordingly. Existing code.
** magicParseCompressionArgs(): Responds to '-c' option by specifying
compression function and output file suffix.
* Update showUsage() to document future '-R' recipient dir option.

Merge branch 'feature/location-logging/EVA-2020-02' into develop

chore(bkgpslog):Bump version number to include recent change

Merge branch 'feature/location-logging/EVA-2020-02' into develop

feat(bkgpslog):Add additional validation for age pubkeys

chore(bkgpslog):Confirm age can encrypt to ssh pubkey string

Ssh pubkey strings have a space in them which was breaking
appendFileTar() function. 'eval' was used to fix how appendFileTar()
and appendArgTar() execute command strings.

fix(bkgpslog):Use eval to build command strings

Use eval to build command strings instead of simply putting bare
unquoted variable. This is necessary because the `recipients` variable
used to build a command to encrypt files may contain quotes if one of
the recipients is an ssh key which may have a space:

    ssh-rsa AAAAB...

This should fix the inability of `bkgpslog` to accept quoted ssh
pubkey strings as a specified `-r` option argument.

test(bkgpslog):Test recipient string quoting

recipient strings with spaces in them don't fare well with `\"` in
them when such strings are used to create new strings.

fix(bkgpslog):Fix pubkey strings with spaces

ssh pubkeys have a space in them and caused age encryption operation
to fail.

doc(bkgpslog):Add TODO for future features

- recipient watch folder

- simplify gps data

doc(bkgpslog-plan):Closed TODO item

style(bkgpslog):Minor semicolons