viz.sandesh

/*
 * Copyright (c) 2013 Juniper Networks, Inc. All rights reserved.
 */

/**
 *  Definitions of structures used internally by contrail daemons
 */

const string COLLECTOR_KEYSPACE     = "ContrailAnalytics"
const string COLLECTOR_KEYSPACE_CQL = "ContrailAnalyticsCql"
const string COLLECTOR_GLOBAL_TABLE = "MessageTable"
const string UUID_KEY               = "UuidKey"
const string SOURCE                 = "Source"
const string KEYWORD                = "Keyword"
const string NAMESPACE              = "Namespace"
const string MODULE                 = "ModuleId"
const string INSTANCE_ID            = "InstanceId"
const string NODE_TYPE              = "NodeType"
const string TIMESTAMP              = "MessageTS"
const string SANDESH_TYPE           = "Type"
const string CATEGORY               = "Category"
const string LEVEL                  = "Level"
const string IPADDRESS              = "IPAddress"
const string PID                    = "Pid"
const string MESSAGE_TYPE           = "Messagetype"
const string DATA                   = "Xmlmessage"
const string CONTEXT                = "Context"
const string SEQUENCE_NUM           = "SequenceNum"
const string VERSION                = "VersionSig"
const string MESSAGE_TABLE_SOURCE  = "MessageTableSource"
const string MESSAGE_TABLE_MODULE_ID  = "MessageTableModuleId"
const string MESSAGE_TABLE_MESSAGE_TYPE  = "MessageTableMessageType"
const string MESSAGE_TABLE_CATEGORY = "MessageTableCategory"
const string MESSAGE_TABLE_LEVEL    = "MessageTableLevel"
const string MESSAGE_TABLE_TIMESTAMP = "MessageTableTimestamp"
const string MESSAGE_TABLE_KEYWORD = "MessageTableKeyword"
const string OBJECT_ID              = "ObjectId"

const string ROWTIMESTAMP           = "RowTimeStamp"

const string OBJECT_VALUE_TABLE     = "ObjectValueTable"

const string SYSTEM_OBJECT_TABLE    = "SystemObjectTable"
const string SYSTEM_OBJECT_ANALYTICS = "SystemObjectAnalytics"
const string SYSTEM_OBJECT_START_TIME = "SystemObjectStartTime"
const string SYSTEM_OBJECT_FLOW_START_TIME = "SystemObjectFlowStartTime"
const string SYSTEM_OBJECT_STAT_START_TIME = "SystemObjectStatStartTime"
const string SYSTEM_OBJECT_MSG_START_TIME = "SystemObjectMsgStartTime"
const string SYSTEM_OBJECT_FLOW_DATA_TTL = "SystemObjectFlowDataTtl"
const string SYSTEM_OBJECT_STATS_DATA_TTL = "SystemObjectStatsDataTtl"
const string SYSTEM_OBJECT_CONFIG_AUDIT_TTL = "SystemObjectConfigAuditTtl"
const string SYSTEM_OBJECT_GLOBAL_DATA_TTL = "SystemObjectGlobalDataTtl"

// Master object table which contains all object tables combined
const string OBJECT_TABLE       = "ObjectTable"

//The following are the object tables and some of them are UVEs
const string VN_TABLE               = "ObjectVNTable"
const string VM_TABLE               = "ObjectVMTable"
const string VMI_TABLE              = "ObjectVMITable"
const string SI_TABLE               = "ObjectSITable"
const string VROUTER_TABLE          = "ObjectVRouter"
const string BGP_PEER_TABLE         = "ObjectBgpPeer"
const string BGP_ROUTER_TABLE       = "ObjectBgpRouter"
const string XMPP_PEER_INFO_TABLE   = "ObjectXmppPeerInfo"
const string ROUTING_INSTANCE_TABLE = "ObjectRoutingInstance"
const string XMPP_CONNECTION_TABLE  = "ObjectXmppConnection"
const string COLLECTOR_INFO_TABLE   = "ObjectCollectorInfo"
const string DATABASE_INFO_TABLE    = "ObjectDatabaseInfo"
const string GENERATOR_INFO_TABLE   = "ObjectGeneratorInfo"
const string CONFIG_NODE_TABLE      = "ObjectConfigNode"
const string SERVICE_CHAIN          = "ServiceChain"
const string DNS_TABLE              = "ObjectDns"
const string QUERY_TABLE_OBJECT     = "ObjectQueryTable"
const string QUERY_QID_OBJECT       = "ObjectQueryQid"
const string CONFIG_OBJECT_TABLE    = "ConfigObjectTable"
const string POOL_TABLE             = "ObjectPoolTable"
const string OSD_TABLE              = "ObjectOsdTable"
const string DISK_TABLE             = "ObjectDiskTable"
const string SERVER_TABLE             = "ObjectServerTable"
const string PROUTER_TABLE          = "ObjectPRouter"
const string CONFIG_OBJECT_TABLE_USER = "ConfigObjectTableByUser"
const string PHYSICAL_IF_TABLE      = "ObjectPhysicalInterfaceTable"
const string LOGICAL_IF_TABLE       = "ObjectLogicalInterfaceTable"
const string STORAGE_CLUSTER_TABLE  = "ObjectStorageClusterTable"

const string VN_DISPLAY_NAME        = "Virtual Network"
const string VM_DISPLAY_NAME        = "Virtual Machine"
const string VMI_DISPLAY_NAME       = "Virtual Machine Interface"
const string SI_DISPLAY_NAME        = "Service Instance"
const string VROUTER_DISPLAY_NAME   = "vRouter"
const string BGP_PEER_DISPLAY_NAME  = "BGP Peer"
const string ROUTING_INSTANCE_DISPLAY_NAME = "Routing Instance"
const string BGP_ROUTER_DISPLAY_NAME       = "Control Node"
const string XMPP_PEER_INFO_DISPLAY_NAME   = "XMPP Peer"
const string XMPP_CONNECTION_DISPLAY_NAME  = "XMPP Connection"
const string COLLECTOR_INFO_DISPLAY_NAME   = "Analytics Node"
const string DATABASE_INFO_DISPLAY_NAME   = "Database Node"
const string GENERATOR_INFO_DISPLAY_NAME   = "Generator"
const string CONFIG_NODE_DISPLAY_NAME      = "Config Node"
const string SERVICE_CHAIN_DISPLAY_NAME = "Service Chain"
const string DNS_DISPLAY_NAME              = "DNS Node"
const string QUERY_TABLE_DISPLAY_NAME      = "Query Object Table"
const string QUERY_QID_DISPLAY_NAME        = "Query Object Qid"
const string CONFIG_OBJECT_DISPLAY_NAME    = "Config Object Table"
const string STORAGE_POOL_DISPLAY_NAME     = "Storage Pool"
const string STORAGE_OSD_DISPLAY_NAME      = "Storage Device"
const string STORAGE_DISK_DISPLAY_NAME     = "Storage RawDisk"
const string SERVER_TABLE_DISPLAY_NAME       = "Server Table Info"
const string PROUTER_DISPLAY_NAME          = "pRouter"
const string CONFIG_OBJECT_USER_DISPLAY_NAME = "Config Object by User Table"
const string LOGICAL_IF_DISPLAY_NAME       = "Logical Interface"
const string PHYSICAL_IF_DISPLAY_NAME      = "Physical Interface"
const string STORAGE_CLUSTER_DISPLAY_NAME  = "Storage Cluster"

const string SYSTEM_LOG             = "SystemLog"
const string OBJECT_LOG             = "ObjectLog"

const string FLOW_TABLE             = "FlowRecordTable"
const string FLOW_TABLE_VN2VN       = "FlowTableVNtoVN"
const string FLOW_TABLE_VN          = "FlowTableVN"
const string FLOW_TABLE_VN_AND_IP   = "FlowTableVNandIP"
const string FLOW_TABLE_SVN_SIP     = "FlowTableSvnSipVer2"
const string FLOW_TABLE_DVN_DIP     = "FlowTableDvnDipVer2"
const string FLOW_TABLE_PROT_SP     = "FlowTableProtSpVer2"
const string FLOW_TABLE_PROT_DP     = "FlowTableProtDpVer2"
const string FLOW_TABLE_VROUTER     = "FlowTableVRouterVer2"
const string FLOW_SERIES_TABLE      = "FlowSeriesTable"
const string FLOW_TABLE_INVALID     = "Invalid Flow Table"

const string OVERLAY_TO_UNDERLAY_FLOW_MAP = "OverlayToUnderlayFlowMap"

const string STATS_TABLE_BY_STR_STR_TAG     = "StatsTableByStrStrTagV3"
const string STATS_TABLE_BY_STR_U64_TAG     = "StatsTableByStrU64TagV3"
const string STATS_TABLE_BY_U64_STR_TAG     = "StatsTableByU64StrTagV3"
const string STATS_TABLE_BY_U64_U64_TAG     = "StatsTableByU64U64TagV3"

const string STATS_TABLE_BY_DBL_TAG         = "StatsTableByDblTagV3"
const string STATS_TABLE_BY_STR_TAG         = "StatsTableByStrTagV3"
const string STATS_TABLE_BY_U64_TAG         = "StatsTableByU64TagV3"

const u16 PARTITION_MIN = 0
const u16 PARTITION_MAX = 16

enum TtlType {
    FLOWDATA_TTL,
    STATSDATA_TTL,
    CONFIGAUDIT_TTL,
    GLOBAL_TTL,
}

typedef map<TtlType, u64> TtlMap

const map<TtlType, u64> TtlValuesDefault = {
    TtlType.FLOWDATA_TTL : 2,
    TtlType.STATSDATA_TTL : 168,
    TtlType.CONFIGAUDIT_TTL : 2160,
    TtlType.GLOBAL_TTL : 48,
}

const list<string> _FLOW_TABLES = [
    FLOW_TABLE_SVN_SIP,
    FLOW_TABLE_DVN_DIP,
    FLOW_TABLE_PROT_SP,
    FLOW_TABLE_PROT_DP,
    FLOW_TABLE_VROUTER,
]

const list<string> _STATS_TABLES = [
    STATS_TABLE_BY_STR_STR_TAG,
    STATS_TABLE_BY_STR_U64_TAG,
    STATS_TABLE_BY_U64_STR_TAG,
    STATS_TABLE_BY_U64_U64_TAG,
    STATS_TABLE_BY_DBL_TAG,
    STATS_TABLE_BY_STR_TAG,
    STATS_TABLE_BY_U64_TAG,
]

const list<string> _MSG_TABLES = [
    MESSAGE_TABLE_SOURCE,
    MESSAGE_TABLE_MODULE_ID,
    MESSAGE_TABLE_MESSAGE_TYPE,
    MESSAGE_TABLE_CATEGORY,
    MESSAGE_TABLE_LEVEL,
    MESSAGE_TABLE_KEYWORD,
    MESSAGE_TABLE_TIMESTAMP,
    OBJECT_TABLE
]

const list<string> _NO_AUTO_PURGE_TABLES  = [
    COLLECTOR_GLOBAL_TABLE,
    FLOW_TABLE,
    SYSTEM_OBJECT_TABLE
]

// Please keep FlowRecordFields and FlowRecordNames in sync
enum FlowRecordFields {
   FLOWREC_FLOWUUID,
   FLOWREC_DIRECTION_ING,
   FLOWREC_SOURCEVN,
   FLOWREC_SOURCEIP,
   FLOWREC_DESTVN,
   FLOWREC_DESTIP,
   FLOWREC_PROTOCOL,
   FLOWREC_SPORT,
   FLOWREC_DPORT,
   FLOWREC_TOS,
   FLOWREC_TCP_FLAGS,
   FLOWREC_VM,
   FLOWREC_INPUT_INTERFACE,
   FLOWREC_OUTPUT_INTERFACE,
   FLOWREC_MPLS_LABEL,
   FLOWREC_REVERSE_UUID,
   FLOWREC_SETUP_TIME,
   FLOWREC_TEARDOWN_TIME,
   FLOWREC_MIN_INTERARRIVAL,
   FLOWREC_MAX_INTERARRIVAL,
   FLOWREC_MEAN_INTERARRIVAL,
   FLOWREC_STDDEV_INTERARRIVAL,
   FLOWREC_BYTES,
   FLOWREC_PACKETS,
   FLOWREC_DATA_SAMPLE,
   FLOWREC_VROUTER,
   FLOWREC_DIFF_BYTES,
   FLOWREC_DIFF_PACKETS,
   FLOWREC_SHORT_FLOW,
   FLOWREC_JSON,
   FLOWREC_ACTION,
   FLOWREC_SG_RULE_UUID,
   FLOWREC_NW_ACE_UUID,
   FLOWREC_VROUTER_IP,
   FLOWREC_OTHER_VROUTER_IP,
   FLOWREC_UNDERLAY_PROTO,
   FLOWREC_UNDERLAY_SPORT,
   FLOWREC_VMI_UUID,
   FLOWREC_DROP_REASON,
   FLOWREC_MAX,
}

const list<string> FlowRecordNames = [
    "flowuuid",
    "direction_ing",
    "sourcevn",
    "sourceip",
    "destvn",
    "destip",
    "protocol",
    "sport",
    "dport",
    "tos",
    "tcp_flags",
    "vm",
    "input_interface",
    "output_interface",
    "mpls_label",
    "reverse_uuid",
    "setup_time",
    "teardown_time",
    "min_interarrival",
    "max_interarrival",
    "mean_interarrival",
    "stddev_interarrival",
    "bytes",
    "packets",
    "data_sample",
    "vrouter",
    "diff_bytes",
    "diff_packets",
    "short_flow",
    "json",
    "action",
    "sg_rule_uuid",
    "nw_ace_uuid",
    "vrouter_ip",
    "other_vrouter_ip",
    "underlay_proto",
    "underlay_source_port",
    "vmi_uuid",
    "drop_reason",
    "invalid",
]

// UFlowData fields
const string UFLOW_PROUTER = "name";
const string UFLOW_PIFINDEX = "flow.pifindex";
const string UFLOW_SIP = "flow.sip";
const string UFLOW_DIP = "flow.dip";
const string UFLOW_SPORT = "flow.sport";
const string UFLOW_DPORT = "flow.dport";
const string UFLOW_PROTOCOL = "flow.protocol";
const string UFLOW_VLAN = "flow.vlan";
const string UFLOW_FLOWTYPE = "flow.flowtype";
const string UFLOW_OTHERINFO = "flow.otherinfo";

// OverlayToUnderlayFlowMap fields
const string O_SVN = "o_svn";
const string O_SIP = "o_sip";
const string O_DVN = "o_dvn";
const string O_DIP = "o_dip";
const string O_SPORT = "o_sport";
const string O_DPORT = "o_dport";
const string O_PROTOCOL = "o_protocol";
const string O_VROUTER = "o_vrouter";
const string U_PROUTER = "u_prouter";
const string U_PIFINDEX = "u_pifindex";
const string U_VLAN = "u_vlan";
const string U_SIP = "u_sip";
const string U_DIP = "u_dip";
const string U_SPORT = "u_sport";
const string U_DPORT = "u_dport";
const string U_PROTOCOL = "u_protocol";
const string U_FLOWTYPE = "u_flowtype";
const string U_OTHERINFO = "u_otherinfo"

const map<string, string> OverlayToFlowRecordFields = {
    O_SVN : "sourcevn",
    O_SIP : "sourceip",
    O_DVN : "destvn",
    O_DIP : "destip",
    O_SPORT : "sport",
    O_DPORT : "dport",
    O_PROTOCOL : "protocol",
    O_VROUTER : "vrouter"
}

const map<string, string> FlowRecordToUFlowDataFields = {
    "vrouter_ip" : UFLOW_SIP,
    "other_vrouter_ip" : UFLOW_DIP,
    "underlay_source_port" : UFLOW_SPORT,
    "underlay_proto" : UFLOW_PROTOCOL
}

const map<string, string> UnderlayToUFlowDataFields = {
    U_PROUTER : UFLOW_PROUTER,
    U_PIFINDEX : UFLOW_PIFINDEX,
    U_SIP : UFLOW_SIP,
    U_DIP : UFLOW_DIP,
    U_SPORT : UFLOW_SPORT,
    U_DPORT : UFLOW_DPORT,
    U_PROTOCOL : UFLOW_PROTOCOL,
    U_VLAN : UFLOW_VLAN,
    U_FLOWTYPE : UFLOW_FLOWTYPE,
    U_OTHERINFO : UFLOW_OTHERINFO
}

// Flow Table Query Strings
const string FLOW_TABLE_UUID       = "UuidKey"
const string FLOW_TABLE_AGG_PKTS   = "agg-packets"
const string FLOW_TABLE_AGG_BYTES  = "agg-bytes"

/* REDIS RELATED NAMES/CONSTANTS */

const string GENERATORS_SET         = "NGENERATORS"
const string ANALYTICS_START        = "ANALYTICS_START_TIME"

// each row will have equivalent of 2^23 = 8388608 usec
const i32 RowTimeInBits             = 23
const i32 RowTimeInMask             = 0x7fffff

enum PartType {
    PART_TYPE_INVALID= 0,
    PART_TYPE_CNODES = 1,
    PART_TYPE_PNODES = 2,
    PART_TYPE_VMS = 3,
    PART_TYPE_IFS = 4,
    PART_TYPE_OTHER = 5,
}

const map<string, PartType> PART_TYPES = {
    COLLECTOR_INFO_TABLE: PartType.PART_TYPE_CNODES,
    DATABASE_INFO_TABLE: PartType.PART_TYPE_CNODES,
    BGP_ROUTER_TABLE: PartType.PART_TYPE_CNODES,
    CONFIG_NODE_TABLE: PartType.PART_TYPE_CNODES,
    DNS_TABLE: PartType.PART_TYPE_CNODES,
    SERVER_TABLE: PartType.PART_TYPE_PNODES,
    PROUTER_TABLE: PartType.PART_TYPE_PNODES,
    VROUTER_TABLE: PartType.PART_TYPE_PNODES,
    VM_TABLE: PartType.PART_TYPE_VMS,
    VMI_TABLE: PartType.PART_TYPE_IFS,
    PHYSICAL_IF_TABLE: PartType.PART_TYPE_IFS,
    LOGICAL_IF_TABLE: PartType.PART_TYPE_IFS,
}

const map<string, string> UVE_MAP = {
    "virtual-network" : VN_TABLE,
    "virtual-machine" : VM_TABLE,
    "virtual-machine-interface" : VMI_TABLE,
    "service-instance" : SI_TABLE,
    "vrouter" : VROUTER_TABLE,
    "control-node" : BGP_ROUTER_TABLE,
    "bgp-peer" : BGP_PEER_TABLE,
    "xmpp-peer" : XMPP_PEER_INFO_TABLE,
    "analytics-node" : COLLECTOR_INFO_TABLE,
    "database-node" : DATABASE_INFO_TABLE,
    "generator" : GENERATOR_INFO_TABLE
    "config-node" : CONFIG_NODE_TABLE,
    "service-chain" : SERVICE_CHAIN,
    "dns-node" : DNS_TABLE,
    "storage-pool" : POOL_TABLE,
    "storage-osd" : OSD_TABLE,
    "storage-disk" : DISK_TABLE,
    "server" : SERVER_TABLE,
    "prouter" : PROUTER_TABLE,
    "physical-interface" : PHYSICAL_IF_TABLE,
    "logical-interface" : LOGICAL_IF_TABLE,
    "storage-cluster" : STORAGE_CLUSTER_TABLE
}

struct objtable_info {
    1: string objtable_display_name;
    2: string log_query_name;
}

const map<string, objtable_info> _OBJECT_TABLES = {
    CONFIG_OBJECT_TABLE    : {
        'objtable_display_name' : CONFIG_OBJECT_DISPLAY_NAME
        'log_query_name'        : "config"
    }
    VN_TABLE               : {
        'objtable_display_name' : VN_DISPLAY_NAME
        'log_query_name'        : "virtual-network"
    }
    VM_TABLE               : {
        'objtable_display_name' : VM_DISPLAY_NAME
        'log_query_name'        : "virtual-machine"
    }
    VMI_TABLE              : {
        'objtable_display_name' : VMI_DISPLAY_NAME
        'log_query_name'        : "virtual-machine-interface"
    }
    SI_TABLE               : {
        'objtable_display_name' : SI_DISPLAY_NAME
        'log_query_name'        : "service-instance"
    }
    VROUTER_TABLE          : {
        'objtable_display_name' : VROUTER_DISPLAY_NAME
        'log_query_name'        : "vrouter"
    }
    PROUTER_TABLE          : {
        'objtable_display_name' : PROUTER_DISPLAY_NAME
        'log_query_name'        : "prouter"
    }
    BGP_PEER_TABLE         : {
        'objtable_display_name' : BGP_PEER_DISPLAY_NAME
        'log_query_name'        : "bgp-peer"
    }
    BGP_ROUTER_TABLE       : {
        'objtable_display_name' : BGP_ROUTER_DISPLAY_NAME
        'log_query_name'        : "control-node"
    }
    ROUTING_INSTANCE_TABLE : {
        'objtable_display_name' : ROUTING_INSTANCE_DISPLAY_NAME
        'log_query_name'        : "routing-instance"
    }
    XMPP_CONNECTION_TABLE  : {
        'objtable_display_name' : XMPP_CONNECTION_DISPLAY_NAME
        'log_query_name'        : "xmpp-connection"
    }
    XMPP_PEER_INFO_TABLE  : {
        'objtable_display_name' : XMPP_PEER_INFO_DISPLAY_NAME
        'log_query_name'        : "xmpp-peer"
    }
    COLLECTOR_INFO_TABLE   : {
        'objtable_display_name' : COLLECTOR_INFO_DISPLAY_NAME
        'log_query_name'        : "analytics-node"
    }
    DATABASE_INFO_TABLE   : {
        'objtable_display_name' : DATABASE_INFO_DISPLAY_NAME
        'log_query_name'        : "database-node"
    }
    GENERATOR_INFO_TABLE   : {
        'objtable_display_name' : GENERATOR_INFO_DISPLAY_NAME
        'log_query_name'        : "generator"
    }
    CONFIG_NODE_TABLE      : {
        'objtable_display_name' : CONFIG_NODE_DISPLAY_NAME
        'log_query_name'        : "config-node"
    }
    SERVICE_CHAIN          : {
        'objtable_display_name' : SERVICE_CHAIN_DISPLAY_NAME
        'log_query_name'        : "service-chain"
    }
    DNS_TABLE       : {
        'objtable_display_name' : DNS_DISPLAY_NAME
        'log_query_name'        : "dns-node"
    }
    QUERY_TABLE_OBJECT       : {
        'objtable_display_name' : QUERY_TABLE_DISPLAY_NAME
        'log_query_name'        : "analytics-query"
    }
    QUERY_QID_OBJECT       : {
        'objtable_display_name' : QUERY_QID_DISPLAY_NAME
        'log_query_name'        : "analytics-query-id"
    }
    POOL_TABLE          : {
        'objtable_display_name' : STORAGE_POOL_DISPLAY_NAME
        'log_query_name'        : "storage-pool"
    }
    OSD_TABLE          : {
        'objtable_display_name' : STORAGE_OSD_DISPLAY_NAME
        'log_query_name'        : "storage-osd"
    }
    DISK_TABLE          : {
        'objtable_display_name' : STORAGE_DISK_DISPLAY_NAME
        'log_query_name'        : "storage-disk"
    }
    SERVER_TABLE          : {
        'objtable_display_name' : SERVER_TABLE_DISPLAY_NAME
    }
    CONFIG_OBJECT_TABLE_USER    : {
        'objtable_display_name' : CONFIG_OBJECT_USER_DISPLAY_NAME
        'log_query_name'        : "config-user"
    }
    PHYSICAL_IF_TABLE    : {
        'objtable_display_name' : PHYSICAL_IF_DISPLAY_NAME
        'log_query_name'        : "physical-interface"
    }
    LOGICAL_IF_TABLE   : {
        'objtable_display_name' : LOGICAL_IF_DISPLAY_NAME
        'log_query_name'        : "logical-interface"
    }
    STORAGE_CLUSTER_TABLE    : {
        'objtable_display_name' : STORAGE_CLUSTER_DISPLAY_NAME
        'log_query_name'        : "storage-cluster"
    }
}

// Analytics table schema defination

// Description of the column
struct query_column
{
    1: string name;
    2: string datatype;
    3: bool index;
    4: bool select;
    5: list<string> suffixes;
}

struct query_schema_type
{
    1: string type;
    2: list<query_column> columns;
}

struct query_table
{
    1: string name;
    2: query_schema_type schema;
    3: list<string> columnvalues;
    4: string display_name;
}

struct stat_query_column
{
    1: string name;
    2: string datatype;
    3: bool index;
    4: list<string> suffixes;
}

struct stat_table
{
    6: string display_name;
    1: string stat_type;
    2: string stat_attr;
    3: string obj_table;
    5: list<stat_query_column> attributes;
}

const string STAT_OBJECTID_FIELD = "name";
const string STAT_SOURCE_FIELD   = SOURCE;
const string STAT_TIME_FIELD     = "T";
const string STAT_TIMEBIN_FIELD  = "T=";
const string STAT_UUID_FIELD     = "UUID";
const string STAT_VT_PREFIX      = "StatTable";

const list<stat_table> _STAT_TEST_TABLES = [
{
      'display_name' : 'Test',
      'stat_type' : 'StatTestState',
      'stat_attr' : 'st',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'st.i1', 'datatype' : 'int', 'index' : true, 'suffixes': ['st.i2']},
          { 'name' : 'st.i2', 'datatype' : 'int', 'index' : false},
          { 'name' : 'st.d1', 'datatype' : 'double', 'index' : true},
          { 'name' : 'st.s1', 'datatype' : 'string', 'index' : false},
          { 'name' : 'st.s2', 'datatype' : 'string', 'index' : true},
          { 'name' : 'l1',    'datatype' : 'string', 'index' : true},
          { 'name' : 'name',  'datatype' : 'string', 'index' : true, 'suffixes': ['st.s1']},
        ]
},
{
      'display_name' : 'Test Double',
      'stat_type' : 'StatTestStateDouble',
      'stat_attr' : 'dst.st',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'dst.st.i1', 'datatype' : 'int', 'index' : true, 'suffixes': ['dst.st.i2']},
          { 'name' : 'dst.st.i2', 'datatype' : 'int', 'index' : false},
          { 'name' : 'dst.st.d1', 'datatype' : 'double', 'index' : true},
          { 'name' : 'dst.st.s1', 'datatype' : 'string', 'index' : false},
          { 'name' : 'dst.st.s2', 'datatype' : 'string', 'index' : false},
          { 'name' : 'dst.l1',    'datatype' : 'string', 'index' : true, 'suffixes': ['dst.st.s2']},
        ]
},
{
      'display_name' : 'Test Objectlog',
      'stat_type' : 'StatTestObj',
      'stat_attr' : 'st',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'st.i1', 'datatype' : 'int', 'index' : true, 'suffixes': ['st.i2']},
          { 'name' : 'st.i2', 'datatype' : 'int', 'index' : false},
          { 'name' : 'st.d1', 'datatype' : 'double', 'index' : true},
          { 'name' : 'st.s1', 'datatype' : 'string', 'index' : false},
          { 'name' : 'st.s2', 'datatype' : 'string', 'index' : true},
          { 'name' : 'l1',    'datatype' : 'string', 'index' : true},
          { 'name' : 'name',  'datatype' : 'string', 'index' : true, 'suffixes': ['st.s1']},
        ]
}
]

const list<stat_table> _STAT_TABLES  = [
    {
      'display_name' : 'Analytics CPU Information',
      'stat_type' : 'AnalyticsCpuState',
      'stat_attr' : 'cpu_info',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'cpu_info.mem_virt',  'datatype' : 'int',    'index' : true},
          { 'name' : 'cpu_info.mem_res',   'datatype' : 'int',    'index' : true},
          { 'name' : 'cpu_info.cpu_share', 'datatype' : 'double', 'index' : true},
          { 'name' : 'cpu_info.inst_id',   'datatype' : 'string', 'index' : false},
          { 'name' : 'cpu_info.module_id', 'datatype' : 'string', 'index' : true},
        ]
    },
    {
      'display_name' : 'Config CPU Information',
      'stat_type' : 'ConfigCpuState',
      'stat_attr' : 'cpu_info',
      'obj_table' : CONFIG_NODE_TABLE,
      'attributes': [
          { 'name' : 'cpu_info.mem_virt',  'datatype' : 'int',    'index' : true},
          { 'name' : 'cpu_info.mem_res',   'datatype' : 'int',    'index' : true},
          { 'name' : 'cpu_info.cpu_share', 'datatype' : 'double', 'index' : true},
          { 'name' : 'cpu_info.inst_id',   'datatype' : 'string', 'index' : false},
          { 'name' : 'cpu_info.module_id', 'datatype' : 'string', 'index' : true},
        ]
    },
    {
      'display_name' : 'Control CPU Information',
      'stat_type' : 'ControlCpuState',
      'stat_attr' : 'cpu_info',
      'obj_table' : BGP_ROUTER_TABLE,
      'attributes': [
          { 'name' : 'cpu_info.mem_virt',  'datatype' : 'int',    'index' : true},
          { 'name' : 'cpu_info.mem_res',   'datatype' : 'int',    'index' : true},
          { 'name' : 'cpu_info.cpu_share', 'datatype' : 'double', 'index' : true},
          { 'name' : 'cpu_info.inst_id',   'datatype' : 'string', 'index' : false},
          { 'name' : 'cpu_info.module_id', 'datatype' : 'string', 'index' : true},
        ]
    },
    {
      'display_name' : 'Physical Router Interface Statistics',
      'stat_type' : 'PRouterEntry',
      'stat_attr' : 'ifStats',
      'obj_table' : PROUTER_TABLE,
      'attributes': [
         { 'name': 'name', 'datatype': 'string', 'index': true,
                       'suffixes': ['ifStats.ifIndex', 'ifStats.ifName']},
         { 'name': 'ifStats.ifInPkts', 'datatype': 'int', 'index': false},
         { 'name': 'ifStats.ifOutPkts', 'datatype': 'int', 'index': false},
         { 'name': 'ifStats.ifInOctets', 'datatype': 'int', 'index': false},
         { 'name': 'ifStats.ifOutOctets', 'datatype': 'int', 'index': false},
         { 'name': 'ifStats.ifInDiscards', 'datatype': 'int', 'index': false},
         { 'name': 'ifStats.ifInErrors', 'datatype': 'int', 'index': false},
         { 'name': 'ifStats.ifOutDiscards', 'datatype': 'int', 'index': false},
         { 'name': 'ifStats.ifOutErrors', 'datatype': 'int', 'index': false},
         { 'name': 'ifStats.ifIndex', 'datatype': 'int', 'index': false},
         { 'name': 'ifStats.ifName', 'datatype': 'string', 'index': false},
        ]
    },
    {
      'display_name' : 'Compute CPU Information',
      'stat_type' : 'ComputeCpuState',
      'stat_attr' : 'cpu_info',
      'obj_table' : VROUTER_TABLE,
      'attributes': [
          { 'name' : 'cpu_info.mem_virt',  'datatype' : 'int',    'index' : true},
          { 'name' : 'cpu_info.mem_res',   'datatype' : 'int',    'index' : true},
          { 'name' : 'cpu_info.cpu_share', 'datatype' : 'double', 'index' : true},
          { 'name' : 'cpu_info.used_sys_mem', 'datatype' : 'int',    'index' : false},
          { 'name' : 'cpu_info.one_min_cpuload', 'datatype' : 'double', 'index' : false},
        ]
    },
    {
      'display_name' : 'VM CPU Stats'
      'stat_type' : 'VirtualMachineStats',
      'stat_attr' : 'cpu_stats',
      'obj_table' : VM_TABLE,
      'attributes': [
          { 'name' : 'cpu_stats.cpu_one_min_avg', 'datatype' : 'double', 'index' : false},
          { 'name' : 'cpu_stats.vm_memory_quota',  'datatype' : 'int',    'index' : false},
          { 'name' : 'cpu_stats.rss', 'datatype' : 'int',    'index' : false},
          { 'name' : 'cpu_stats.virt_memory', 'datatype' : 'double', 'index' : false},
          { 'name' : 'cpu_stats.peak_virt_memory', 'datatype' : 'int',    'index' : false},
        ]
    },
    {
      'display_name' : 'Storage Cluster Info',
      'stat_type' : 'StorageCluster',
      'stat_attr' : 'info_stats',
      'obj_table' : STORAGE_CLUSTER_TABLE,
      'attributes': [
          { 'name' : 'cluster_id', 'datatype' : 'string', 'index' : true},
          { 'name' : 'info_stats.status',  'datatype' : 'int',    'index' : false},
          { 'name' : 'info_stats.health_detail', 'datatype': 'string', 'index' : false},
          { 'name' : 'info_stats.health_summary', 'datatype': 'string', 'index' : false},
          { 'name' : 'info_stats.monitor_count', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.monitor_active', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.osd_full', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.osd_near_full', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.osds_conf', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.osds_in', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.osds_out', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.osds_up', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.osds_down', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.osd_full_ratio', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.osd_near_full_ratio', 'datatype': 'int', 'index' : false},
        ]
    },
    {
      'display_name' : 'Storage Pool Info',
      'stat_type' : 'ComputeStoragePool',
      'stat_attr' : 'info_stats',
      'obj_table' : POOL_TABLE,
      'attributes': [
          { 'name' : 'info_stats.reads',  'datatype' : 'int',    'index' : false},
          { 'name' : 'info_stats.writes', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.read_kbytes', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.write_kbytes', 'datatype': 'int', 'index' : false},
        ]
    },
    {
      'display_name' : 'Storage Device Info',
      'stat_type' : 'ComputeStorageOsd',
      'stat_attr' : 'info_stats',
      'obj_table' : OSD_TABLE,
      'attributes': [
          { 'name' : 'name',  'datatype' : 'string',  'index' : true},
          { 'name' : 'uuid',  'datatype' : 'string',    'index' : true},
          { 'name' : 'info_stats.reads',  'datatype' : 'int',    'index' : false},
          { 'name' : 'info_stats.writes', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.read_kbytes', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.write_kbytes', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.op_r_latency', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.op_w_latency', 'datatype': 'int', 'index' : false},
        ]
    },
    {
      'display_name' : 'Storage Raw Device Info',
      'stat_type' : 'ComputeStorageDisk',
      'stat_attr' : 'info_stats',
      'obj_table' : DISK_TABLE,
      'attributes': [
          { 'name' : 'name',  'datatype' : 'string',  'index' : true},
          { 'name' : 'uuid',  'datatype' : 'string',    'index' : true},
          { 'name' : 'info_stats.reads',  'datatype' : 'int',    'index' : false},
          { 'name' : 'info_stats.writes', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.read_kbytes', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.write_kbytes', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.iops', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.bw', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.op_r_latency', 'datatype': 'int', 'index' : false},
          { 'name' : 'info_stats.op_w_latency', 'datatype': 'int', 'index' : false},
        ]
    },
    {
      'display_name' : 'Server Monitoring Sensor Stats Info',
      'stat_type' : 'ServerMonitoringInfo',
      'stat_attr' : 'sensor_stats',
      'obj_table' : SERVER_TABLE,
      'attributes': [
          { 'name' : 'sensor_stats.sensor',  'datatype' : 'string',    'index' : true},
          { 'name' : 'sensor_stats.status', 'datatype': 'string', 'index' : false},
          { 'name' : 'sensor_stats.reading', 'datatype': 'int', 'index' : false},
          { 'name' : 'sensor_stats.unit', 'datatype': 'string', 'index' : false},
          { 'name' : 'sensor_stats.sensor_type', 'datatype': 'string', 'index' : true},
        ]
    },
    {
      'display_name' : 'Server Monitoring Disk Stats Info',
      'stat_type' : 'ServerMonitoringInfo',
      'stat_attr' : 'disk_usage_stats',
      'obj_table' : SERVER_TABLE,
      'attributes': [
          { 'name' : 'disk_usage_stats.disk_name', 'datatype': 'string', 'index' : true},
          { 'name' : 'disk_usage_stats.read_bytes', 'datatype': 'int', 'index' : false},
          { 'name' : 'disk_usage_stats.write_bytes', 'datatype': 'int', 'index' : false},
        ]
    },
    {
      'display_name' : 'Server Monitoring Interface Stats Info',
      'stat_type' : 'ServerMonitoringSummary',
      'stat_attr' : 'network_info_stats',
      'obj_table' : SERVER_TABLE,
      'attributes': [
          { 'name' : 'network_info_stats.interface_name', 'datatype': 'string', 'index' : true},
          { 'name' : 'network_info.tx_bytes', 'datatype': 'int', 'index' : false},
          { 'name' : 'network_info.tx_packets', 'datatype': 'int', 'index' : false},
          { 'name' : 'network_info.rx_bytes', 'datatype': 'int', 'index' : false},
          { 'name' : 'network_info.rx_packets', 'datatype': 'int', 'index' : false},
        ]
    },
    {
      'display_name' : 'Server Monitoring Resource Stats Info',
      'stat_type' : 'ServerMonitoringSummary',
      'stat_attr' : 'resource_info_stats',
      'obj_table' : SERVER_TABLE,
      'attributes': [
          { 'name' : 'resource_info_stats.cpu_usage_percentage', 'datatype': 'double', 'index' : false},
          { 'name' : 'resource_info_stats.mem_usage_mb', 'datatype': 'double', 'index' : false},
          { 'name' : 'resource_info_stats.mem_usage_percent', 'datatype': 'double', 'index' : false},
        ]
    },
    {
      'display_name' : 'Server Monitoring File System Stats Info',
      'stat_type' : 'ServerMonitoringInfo',
      'stat_attr' : 'file_system_view_stats.physical_disks',
      'obj_table' : SERVER_TABLE,
      'attributes': [
          { 'name' : 'file_system_view_stats.fs_name', 'datatype': 'string', 'index' : true},
          { 'name' : 'file_system_view_stats.size_kb', 'datatype': 'int', 'index' : false},
          { 'name' : 'file_system_view_stats.used_kb', 'datatype': 'int', 'index' : false},
          { 'name' : 'file_system_view_stats.available_kb', 'datatype': 'int', 'index' : false},
          { 'name' : 'file_system_view_stats.used_percentage', 'datatype': 'int', 'index' : true},
          { 'name' : 'file_system_view_stats.mountpoint', 'datatype': 'string', 'index' : false},
          { 'name' : 'file_system_view_stats.type', 'datatype': 'string', 'index' : false},
          { 'name' : 'file_system_view_stats.physical_disks.disk_name', 'datatype': 'string', 'index' : true},
          { 'name' : 'file_system_view_stats.physical_disks.disk_size_kb', 'datatype': 'int', 'index' : false},
          { 'name' : 'file_system_view_stats.physical_disks.disk_used_kb', 'datatype': 'int', 'index' : false},
          { 'name' : 'file_system_view_stats.physical_disks.disk_available_kb', 'datatype': 'int', 'index' : false},
          { 'name' : 'file_system_view_stats.physical_disks.disk_used_percentage', 'datatype': 'int', 'index' : true},
        ]
    },
    {

      'display_name' : 'Sandesh Information',
      'stat_type' : 'SandeshMessageStat',
      'stat_attr' : 'msg_info',
      'obj_table' : GENERATOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'msg_info.type', 'datatype' : 'string', 'index' : true},
          { 'name' : 'msg_info.level', 'datatype' : 'string', 'index' : true},
          { 'name' : 'msg_info.messages', 'datatype' : 'int', 'index' : false},
          { 'name' : 'msg_info.bytes', 'datatype' : 'int', 'index' : false},
      ]
    },
    {
      'display_name' : 'Generator Database Table Statistics',
      'stat_type' : 'GeneratorDbStats',
      'stat_attr' : 'table_info',
      'obj_table' : GENERATOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'table_info.table_name', 'datatype' : 'string', 'index' : true},
          { 'name' : 'table_info.reads', 'datatype' : 'int', 'index' : false},
          { 'name' : 'table_info.read_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'table_info.writes', 'datatype' : 'int', 'index' : false},
          { 'name' : 'table_info.write_fails', 'datatype' : 'int', 'index' : false},
      ]
    },
    {
      'display_name' : 'Generator Statistics Database Table',
      'stat_type' : 'GeneratorDbStats',
      'stat_attr' : 'statistics_table_info',
      'obj_table' : GENERATOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'statistics_table_info.table_name', 'datatype' : 'string', 'index' : true},
          { 'name' : 'statistics_table_info.reads', 'datatype' : 'int', 'index' : false},
          { 'name' : 'statistics_table_info.read_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'statistics_table_info.writes', 'datatype' : 'int', 'index' : false},
          { 'name' : 'statistics_table_info.write_fails', 'datatype' : 'int', 'index' : false},
      ]
    },
    {
      'display_name' : 'Generator Database Errors',
      'stat_type' : 'GeneratorDbStats',
      'stat_attr' : 'errors',
      'obj_table' : GENERATOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'errors.write_tablespace_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'errors.read_tablespace_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'errors.write_table_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'errors.read_table_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'errors.write_column_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'errors.write_batch_column_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'errors.read_column_fails', 'datatype' : 'int', 'index' : false},
      ]
    },
    {
      'display_name' : 'Collector Database Table Statistics',
      'stat_type' : 'CollectorDbStats',
      'stat_attr' : 'table_info',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'table_info.table_name', 'datatype' : 'string', 'index' : true},
          { 'name' : 'table_info.reads', 'datatype' : 'int', 'index' : false},
          { 'name' : 'table_info.read_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'table_info.writes', 'datatype' : 'int', 'index' : false},
          { 'name' : 'table_info.write_fails', 'datatype' : 'int', 'index' : false},
      ]
    },
    {
      'display_name' : 'Collector Statistics Database Table',
      'stat_type' : 'CollectorDbStats',
      'stat_attr' : 'statistics_table_info',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'statistics_table_info.table_name', 'datatype' : 'string', 'index' : true},
          { 'name' : 'statistics_table_info.reads', 'datatype' : 'int', 'index' : false},
          { 'name' : 'statistics_table_info.read_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'statistics_table_info.writes', 'datatype' : 'int', 'index' : false},
          { 'name' : 'statistics_table_info.write_fails', 'datatype' : 'int', 'index' : false},
      ]
    },
    {
      'display_name' : 'Collector Database Errors',
      'stat_type' : 'CollectorDbStats',
      'stat_attr' : 'errors',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'errors.write_tablespace_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'errors.read_tablespace_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'errors.write_table_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'errors.read_table_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'errors.write_column_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'errors.write_batch_column_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'errors.read_column_fails', 'datatype' : 'int', 'index' : false},
      ]
    },
    {
      'display_name' : 'Collector Database CQL Request Statistics',
      'stat_type' : 'CollectorDbStats',
      'stat_attr' : 'cql_stats',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'cql_stats.requests_one_minute_rate', 'datatype' : 'double', 'index' : false},
      ]
    },
    {
      'display_name' : 'Collector Database CQL Cluster Statistics',
      'stat_type' : 'CollectorDbStats',
      'stat_attr' : 'cql_stats.stats',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'cql_stats.stats.total_connections', 'datatype' : 'int', 'index' : false},
          { 'name' : 'cql_stats.stats.available_connections', 'datatype' : 'int', 'index' : false},
          { 'name' : 'cql_stats.stats.exceeded_pending_requests_water_mark', 'datatype' : 'int', 'index' : false},
          { 'name' : 'cql_stats.stats.exceeded_write_bytes_water_mark', 'datatype' : 'int', 'index' : false},
      ]
    },
    {
      'display_name' : 'Collector Database CQL Errors',
      'stat_type' : 'CollectorDbStats',
      'stat_attr' : 'cql_stats.errors',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'cql_stats.errors.connection_timeouts', 'datatype' : 'int', 'index' : false},
          { 'name' : 'cql_stats.errors.pending_request_timeouts', 'datatype' : 'int', 'index' : false},
          { 'name' : 'cql_stats.errors.request_timeouts', 'datatype' : 'int', 'index' : false},
      ]
    },
    {
      'display_name' : 'Values Table - string',
      'stat_type' : 'FieldNames'
      'stat_attr' : 'fields'
      'obj_table' : 'NONE',
      'attributes': [
          { 'name' : 'fields.value',  'datatype' : 'string',    'index' : false},
        ]
    },
    {
      'display_name' : 'Values Table - integer',
      'stat_type' : 'FieldNames'
      'stat_attr' : 'fieldi'
      'obj_table' : 'NONE',
      'attributes': [
          { 'name' : 'fieldi.value',  'datatype' : 'int',    'index' : false},
        ]
    },
    {
      'display_name' : 'QE Performance',
      'stat_type' : 'QueryPerfInfo',
      'stat_attr' : 'query_stats',
      'obj_table' : 'NONE',
      'attributes': [
          { 'name' : 'table', 'datatype' : 'string','index' : true},
          { 'name' : 'name', 'datatype' : 'string','index' : true, 'suffixes': ['query_stats.qid']},
          { 'name' : 'query_stats.time', 'datatype' : 'int', 'index' : true},
          { 'name' : 'query_stats.rows', 'datatype' : 'int', 'index' : true},
          { 'name' : 'query_stats.qid',  'datatype' : 'string','index' : false},
          { 'name' : 'query_stats.where'      ,'datatype' : 'string','index' : false},
          { 'name' : 'query_stats.select'     ,'datatype' : 'string','index' : false},
          { 'name' : 'query_stats.post'       ,'datatype' : 'string','index' : false},
          { 'name' : 'query_stats.time_span'  ,'datatype' : 'int',   'index' : false},
          { 'name' : 'query_stats.chunks'             ,'datatype' : 'int','index' : false},
          { 'name' : 'query_stats.chunk_where_time'   ,'datatype' : 'string','index' : false},
          { 'name' : 'query_stats.chunk_select_time'  ,'datatype' : 'string','index' : false},
          { 'name' : 'query_stats.chunk_postproc_time','datatype' : 'string','index' : false},
          { 'name' : 'query_stats.chunk_merge_time'   ,'datatype' : 'string','index' : false},
          { 'name' : 'query_stats.final_merge_time'   ,'datatype' : 'int','index' : false},
          { 'name' : 'query_stats.enq_delay'          ,'datatype' : 'int','index' : false},
          { 'name' : 'query_stats.error'              ,'datatype' : 'string','index' : false},
        ]
    },
    {
      'display_name' : 'VN Agent',
      'stat_type' : 'UveVirtualNetworkAgent',
      'stat_attr' : 'vn_stats',
      'obj_table' : VN_TABLE,
      'attributes': [
          { 'name' : 'vn_stats.other_vn',  'datatype' : 'string', 'index' : true},
          { 'name' : 'vn_stats.vrouter',   'datatype' : 'string', 'index' : true},
          { 'name' : 'vn_stats.in_tpkts',  'datatype' : 'int',    'index' : false},
          { 'name' : 'vn_stats.in_bytes',  'datatype' : 'int',    'index' : false},
          { 'name' : 'vn_stats.out_tpkts', 'datatype' : 'int',    'index' : false},
          { 'name' : 'vn_stats.out_bytes', 'datatype' : 'int',    'index' : false},
        ]
    },
    {
      'display_name' : 'VN ACL Rule Statistics',
      'stat_type' : 'UveVirtualNetworkAgent',
      'stat_attr' : 'policy_rule_stats',
      'obj_table' : VN_TABLE,
      'attributes': [
          { 'name' : 'policy_rule_stats.rule', 'datatype' : 'string', 'index' : true},
          { 'name' : 'policy_rule_stats.count', 'datatype' : 'int', 'index' : false},
        ]
    },
    {
      'display_name' : 'Database Purge Statistics',
      'stat_type' : 'DatabasePurgeInfo'
      'stat_attr' : 'stats',
      'obj_table' : DATABASE_INFO_TABLE,
      'attributes': [
          { 'name' : 'stats.purge_id',  'datatype' : 'string', 'index' : true},
          { 'name' : 'stats.request_time', 'datatype' : 'int', 'index' : true},
          { 'name' : 'stats.rows_deleted', 'datatype' : 'int', 'index' : true},
          { 'name' : 'stats.duration',     'datatype' : 'int', 'index' : true},
          { 'name' : 'stats.purge_status', 'datatype' : 'string', 'index' : true},
          { 'name' : 'stats.purge_status_details', 'datatype' : 'string', 'index' : false}
        ]
    },
    {
      'display_name' : 'Database Usage Statistics',
      'stat_type' : 'DatabaseUsageInfo'
      'stat_attr' : 'database_usage',
      'obj_table' : DATABASE_INFO_TABLE,
      'attributes': [
          { 'name' : 'database_usage.disk_space_used_1k',      'datatype' : 'int', 'index' : false},
          { 'name' : 'database_usage.disk_space_available_1k', 'datatype' : 'int', 'index' : false},
          { 'name' : 'database_usage.analytics_db_size_1k',    'datatype' : 'int', 'index' : false},
        ]
    },
    {
      'display_name' : 'Analytics Protobuf Collector Transmit Socket Statistics',
      'stat_type' : 'ProtobufCollectorStats'
      'stat_attr' : 'tx_socket_stats',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'tx_socket_stats.bytes',                    'datatype' : 'int',    'index' : false},
          { 'name' : 'tx_socket_stats.calls',                    'datatype' : 'int',    'index' : false},
          { 'name' : 'tx_socket_stats.average_bytes',            'datatype' : 'double', 'index' : false},
          { 'name' : 'tx_socket_stats.blocked_duration',         'datatype' : 'string', 'index' : false},
          { 'name' : 'tx_socket_stats.blocked_count',            'datatype' : 'int',    'index' : false},
          { 'name' : 'tx_socket_stats.average_blocked_duration', 'datatype' : 'string', 'index' : false},
          { 'name' : 'tx_socket_stats.errors',                   'datatype' : 'int',    'index' : false},
        ]
    },
    {
      'display_name' : 'Analytics Protobuf Collector Receive Socket Statistics',
      'stat_type' : 'ProtobufCollectorStats'
      'stat_attr' : 'rx_socket_stats',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'rx_socket_stats.bytes',                    'datatype' : 'int',    'index' : false},
          { 'name' : 'rx_socket_stats.calls',                    'datatype' : 'int',    'index' : false},
          { 'name' : 'rx_socket_stats.average_bytes',            'datatype' : 'double', 'index' : false},
          { 'name' : 'rx_socket_stats.blocked_duration',         'datatype' : 'string', 'index' : false},
          { 'name' : 'rx_socket_stats.blocked_count',            'datatype' : 'int',    'index' : false},
          { 'name' : 'rx_socket_stats.average_blocked_duration', 'datatype' : 'string', 'index' : false},
          { 'name' : 'rx_socket_stats.errors',                   'datatype' : 'int',    'index' : false},
        ]
    },
    {
      'display_name' : 'Analytics Protobuf Collector Receive Message Statistics',
      'stat_type' : 'ProtobufCollectorStats'
      'stat_attr' : 'rx_message_stats',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'rx_message_stats.endpoint_name',  'datatype' : 'string', 'index' : true},
          { 'name' : 'rx_message_stats.message_name',   'datatype' : 'string', 'index' : true},
          { 'name' : 'rx_message_stats.messages',       'datatype' : 'int',    'index' : false},
          { 'name' : 'rx_message_stats.bytes',          'datatype' : 'int',    'index' : false},
          { 'name' : 'rx_message_stats.errors',         'datatype' : 'int',    'index' : false},
          { 'name' : 'rx_message_stats.last_timestamp', 'datatype' : 'int',    'index' : false},
        ]
    },
    {
      'display_name' : 'Analytics Protobuf Collector Database Table',
      'stat_type' : 'ProtobufCollectorStats',
      'stat_attr' : 'db_table_info',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'db_table_info.table_name', 'datatype' : 'string', 'index' : true},
          { 'name' : 'db_table_info.reads', 'datatype' : 'int', 'index' : false},
          { 'name' : 'db_table_info.read_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'db_table_info.writes', 'datatype' : 'int', 'index' : false},
          { 'name' : 'db_table_info.write_fails', 'datatype' : 'int', 'index' : false},
        ]
    },
    {
      'display_name' : 'Analytics Protobuf Collector Statistics Database Table',
      'stat_type' : 'ProtobufCollectorStats',
      'stat_attr' : 'db_statistics_table_info',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'db_statistics_table_info.table_name', 'datatype' : 'string', 'index' : true},
          { 'name' : 'db_statistics_table_info.reads', 'datatype' : 'int', 'index' : false},
          { 'name' : 'db_statistics_table_info.read_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'db_statistics_table_info.writes', 'datatype' : 'int', 'index' : false},
          { 'name' : 'db_statistics_table_info.write_fails', 'datatype' : 'int', 'index' : false},
        ]
    },
    {
      'display_name' : 'Analytics Protobuf Collector Database Errors',
      'stat_type' : 'ProtobufCollectorStats',
      'stat_attr' : 'db_errors',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'db_errors.write_tablespace_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'db_errors.read_tablespace_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'db_errors.write_table_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'db_errors.read_table_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'db_errors.write_column_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'db_errors.write_batch_column_fails', 'datatype' : 'int', 'index' : false},
          { 'name' : 'db_errors.read_column_fails', 'datatype' : 'int', 'index' : false},
        ]
    },
    {
      'display_name' : 'Physical Router Fabric Usage',
      'stat_type' : 'TelemetryStream'
      'stat_attr' : 'enterprise.juniperNetworks.fabricMessageExt.edges.class_stats.transmit_counts',
      'obj_table' : 'NONE',
      'attributes': [
          { 'name' : 'system_id',                                                                                  'datatype' : 'string', 'index' : true},
          { 'name' : 'component_id',                                                                               'datatype' : 'int',    'index' : true},
          { 'name' : 'sub_component_id',                                                                           'datatype' : 'int',    'index' : true},
          { 'name' : 'sensor_name',                                                                                'datatype' : 'string', 'index' : true},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.location',                                       'datatype' : 'string', 'index' : true},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.src_type',                                 'datatype' : 'string', 'index' : true},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.src_slot',                                 'datatype' : 'int',    'index' : true},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.src_pfe',                                  'datatype' : 'int',    'index' : true},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.dst_type',                                 'datatype' : 'string', 'index' : true},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.dst_slot',                                 'datatype' : 'int',    'index' : true},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.dst_pfe',                                  'datatype' : 'int',    'index' : true},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.class_stats.priority',                     'datatype' : 'string', 'index' : true},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.class_stats.transmit_counts.packets',      'datatype' : 'int',    'index' : false},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.class_stats.transmit_counts.bytes',        'datatype' : 'int',    'index' : false},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.class_stats.transmit_counts.pps',          'datatype' : 'int',    'index' : false},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.class_stats.transmit_counts.bps',          'datatype' : 'int',    'index' : false},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.class_stats.transmit_counts.drop_packets', 'datatype' : 'int',    'index' : false},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.class_stats.transmit_counts.drop_bytes',   'datatype' : 'int',    'index' : false},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.class_stats.transmit_counts.drop_pps',     'datatype' : 'int',    'index' : false},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.class_stats.transmit_counts.drop_bps',     'datatype' : 'int',    'index' : false},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.class_stats.transmit_counts.q_depth_avg',  'datatype' : 'int',    'index' : false},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.class_stats.transmit_counts.q_depth_cur',  'datatype' : 'int',    'index' : false},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.class_stats.transmit_counts.q_depth_peak', 'datatype' : 'int',    'index' : false},
          { 'name' : 'enterprise.juniperNetworks.fabricMessageExt.edges.class_stats.transmit_counts.q_depth_max',  'datatype' : 'int',    'index' : false},
        ]
    },
    {
      'display_name' : 'Underlay Flow Information',
      'stat_type' : 'UFlowData'
      'stat_attr' : 'flow',
      'obj_table' : 'NONE',
      'attributes': [
          { 'name' : UFLOW_PROUTER, 'datatype' : 'string', 'index' : true, 'suffixes': [ UFLOW_PIFINDEX ] },
          { 'name' : UFLOW_PIFINDEX, 'datatype' : 'int', 'index' : false },
          { 'name' : UFLOW_SPORT, 'datatype' : 'int', 'index' : false },
          { 'name' : UFLOW_DPORT, 'datatype' : 'int', 'index' : false },
          { 'name' : UFLOW_PROTOCOL, 'datatype' : 'int', 'index' : true, 'suffixes': [ UFLOW_SPORT, UFLOW_DPORT ] },
          { 'name' : UFLOW_SIP, 'datatype' : 'string', 'index' : true },
          { 'name' : UFLOW_DIP, 'datatype' : 'string', 'index' : true },
          { 'name' : UFLOW_VLAN, 'datatype' : 'string', 'index' : true },
          { 'name' : UFLOW_FLOWTYPE, 'datatype' : 'string', 'index' : false },
          { 'name' : UFLOW_OTHERINFO, 'datatype' : 'string', 'index' : false },
        ]
    },
    {
      'display_name' : 'Alarmgen UVE Key Stats',
      'stat_type' : 'AlarmgenUpdate'
      'stat_attr' : 'o',
      'obj_table' : 'NONE',
      'attributes': [
          { 'name' : 'partition', 'datatype' : 'int',    'index' : true },
          { 'name' : 'o.key',     'datatype' : 'string', 'index' : true },
          { 'name' : 'o.count',   'datatype' : 'int',    'index' : false },
        ]
    },
    {
      'display_name' : 'Alarmgen Input Stats',
      'stat_type' : 'AlarmgenUpdate'
      'stat_attr' : 'i',
      'obj_table' : 'NONE',
      'attributes': [
          { 'name' : 'partition', 'datatype' : 'int',    'index' : true },
          { 'name' : 'table',     'datatype' : 'string', 'index' : true },
          { 'name' : 'i.collector', 'datatype' : 'string', 'index' : true },
          { 'name' : 'i.generator', 'datatype' : 'string', 'index' : true },
          { 'name' : 'i.type',      'datatype' : 'string', 'index' : true },
          { 'name' : 'i.count',     'datatype' : 'int',    'index' : false },
        ]
    },
    {
      'display_name' : 'Alarmgen Counters',
      'stat_type' : 'AlarmgenStatus'
      'stat_attr' : 'counters',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'name',               'datatype' : 'string',    'index' : true, 'suffixes': ['counters.instance']  },
          { 'name' : 'counters.instance',  'datatype' : 'string', 'index' : false },
          { 'name' : 'counters.partitions','datatype' : 'int', 'index' : false },
          { 'name' : 'counters.keys',      'datatype' : 'int', 'index' : false },
          { 'name' : 'counters.updates',   'datatype' : 'int', 'index' : false },
        ]
    },
    {
      'display_name' : 'Loadbalancer VirtualIp Stats',
      'stat_type' : 'UveLoadbalancer'
      'stat_attr' : 'virtual_ip_stats',
      'obj_table' : SI_TABLE,
      'attributes': [
          { 'name' : 'virtual_ip_stats.obj_name', 'datatype' : 'string', 'index' : true },
          { 'name' : 'virtual_ip_stats.uuid', 'datatype' : 'string', 'index' : true },
          { 'name' : 'virtual_ip_stats.status', 'datatype' : 'string', 'index' : false },
          { 'name' : 'virtual_ip_stats.vrouter', 'datatype' : 'string', 'index' : true },
          { 'name' : 'virtual_ip_stats.active_connections', 'datatype' : 'int', 'index' : false },
          { 'name' : 'virtual_ip_stats.max_connections', 'datatype' : 'int', 'index' : false },
          { 'name' : 'virtual_ip_stats.current_sessions', 'datatype' : 'int', 'index' : false },
          { 'name' : 'virtual_ip_stats.max_sessions', 'datatype' : 'int', 'index' : false },
          { 'name' : 'virtual_ip_stats.total_sessions', 'datatype' : 'int', 'index' : false },
          { 'name' : 'virtual_ip_stats.bytes_in', 'datatype' : 'int', 'index' : false },
          { 'name' : 'virtual_ip_stats.bytes_out', 'datatype' : 'int', 'index' : false },
          { 'name' : 'virtual_ip_stats.connection_errors', 'datatype' : 'int', 'index' : false },
          { 'name' : 'virtual_ip_stats.reponse_errors', 'datatype' : 'int', 'index' : false },
        ]
    },
    {
      'display_name' : 'Loadbalancer Listener Stats',
      'stat_type' : 'UveLoadbalancer'
      'stat_attr' : 'listener_stats',
      'obj_table' : SI_TABLE,
      'attributes': [
          { 'name' : 'listener_stats.obj_name', 'datatype' : 'string', 'index' : true },
          { 'name' : 'listener_stats.uuid', 'datatype' : 'string', 'index' : true },
          { 'name' : 'listener_stats.status', 'datatype' : 'string', 'index' : false },
          { 'name' : 'listener_stats.vrouter', 'datatype' : 'string', 'index' : true },
          { 'name' : 'listener_stats.active_connections', 'datatype' : 'int', 'index' : false },
          { 'name' : 'listener_stats.max_connections', 'datatype' : 'int', 'index' : false },
          { 'name' : 'listener_stats.current_sessions', 'datatype' : 'int', 'index' : false },
          { 'name' : 'listener_stats.max_sessions', 'datatype' : 'int', 'index' : false },
          { 'name' : 'listener_stats.total_sessions', 'datatype' : 'int', 'index' : false },
          { 'name' : 'listener_stats.bytes_in', 'datatype' : 'int', 'index' : false },
          { 'name' : 'listener_stats.bytes_out', 'datatype' : 'int', 'index' : false },
          { 'name' : 'listener_stats.connection_errors', 'datatype' : 'int', 'index' : false },
          { 'name' : 'listener_stats.reponse_errors', 'datatype' : 'int', 'index' : false },
        ]
    },
    {
      'display_name' : 'Loadbalancer Pool Stats',
      'stat_type' : 'UveLoadbalancer'
      'stat_attr' : 'pool_stats',
      'obj_table' : SI_TABLE,
      'attributes': [
          { 'name' : 'pool_stats.obj_name', 'datatype' : 'string', 'index' : true },
          { 'name' : 'pool_stats.uuid', 'datatype' : 'string', 'index' : true },
          { 'name' : 'pool_stats.status', 'datatype' : 'string', 'index' : false },
          { 'name' : 'pool_stats.vrouter', 'datatype' : 'string', 'index' : true },
          { 'name' : 'pool_stats.active_connections', 'datatype' : 'int', 'index' : false },
          { 'name' : 'pool_stats.max_connections', 'datatype' : 'int', 'index' : false },
          { 'name' : 'pool_stats.current_sessions', 'datatype' : 'int', 'index' : false },
          { 'name' : 'pool_stats.max_sessions', 'datatype' : 'int', 'index' : false },
          { 'name' : 'pool_stats.total_sessions', 'datatype' : 'int', 'index' : false },
          { 'name' : 'pool_stats.bytes_in', 'datatype' : 'int', 'index' : false },
          { 'name' : 'pool_stats.bytes_out', 'datatype' : 'int', 'index' : false },
          { 'name' : 'pool_stats.connection_errors', 'datatype' : 'int', 'index' : false },
          { 'name' : 'pool_stats.reponse_errors', 'datatype' : 'int', 'index' : false },
        ]
    },
    {
      'display_name' : 'Loadbalancer Member Stats',
      'stat_type' : 'UveLoadbalancer'
      'stat_attr' : 'member_stats',
      'obj_table' : SI_TABLE,
      'attributes': [
          { 'name' : 'member_stats.obj_name', 'datatype' : 'string', 'index' : true },
          { 'name' : 'member_stats.uuid', 'datatype' : 'string', 'index' : true },
          { 'name' : 'member_stats.status', 'datatype' : 'string', 'index' : false },
          { 'name' : 'member_stats.vrouter', 'datatype' : 'string', 'index' : true },
          { 'name' : 'member_stats.active_connections', 'datatype' : 'int', 'index' : false },
          { 'name' : 'member_stats.max_connections', 'datatype' : 'int', 'index' : false },
          { 'name' : 'member_stats.current_sessions', 'datatype' : 'int', 'index' : false },
          { 'name' : 'member_stats.max_sessions', 'datatype' : 'int', 'index' : false },
          { 'name' : 'member_stats.total_sessions', 'datatype' : 'int', 'index' : false },
          { 'name' : 'member_stats.bytes_in', 'datatype' : 'int', 'index' : false },
          { 'name' : 'member_stats.bytes_out', 'datatype' : 'int', 'index' : false },
          { 'name' : 'member_stats.connection_errors', 'datatype' : 'int', 'index' : false },
          { 'name' : 'member_stats.reponse_errors', 'datatype' : 'int', 'index' : false },
        ]
    },
    {
      'display_name' : 'Analytics Disk Usage Info',
      'stat_type' : 'NodeStatus'
      'stat_attr' : 'disk_usage_info',
      'obj_table' : COLLECTOR_INFO_TABLE,
      'attributes': [
          { 'name' : 'disk_usage_info.partition_type', 'datatype' : 'string', 'index' : false },
          { 'name' : 'disk_usage_info.partition_name', 'datatype' : 'string', 'index' : false },
          { 'name' : 'disk_usage_info.partition_space_used_1k', 'datatype' : 'int', 'index' : false },
          { 'name' : 'disk_usage_info.partition_space_available_1k', 'datatype' : 'int', 'index' : false },
        ]
    },
    {
      'display_name' : 'Database Disk Usage Info',
      'stat_type' : 'NodeStatus'
      'stat_attr' : 'disk_usage_info',
      'obj_table' : DATABASE_INFO_TABLE,
      'attributes': [
          { 'name' : 'disk_usage_info.partition_type', 'datatype' : 'string', 'index' : false },
          { 'name' : 'disk_usage_info.partition_name', 'datatype' : 'string', 'index' : false },
          { 'name' : 'disk_usage_info.partition_space_used_1k', 'datatype' : 'int', 'index' : false },
          { 'name' : 'disk_usage_info.partition_space_available_1k', 'datatype' : 'int', 'index' : false },
        ]
    },
    {
      'display_name' : 'Config Disk Usage Info',
      'stat_type' : 'NodeStatus'
      'stat_attr' : 'disk_usage_info',
      'obj_table' : CONFIG_NODE_TABLE,
      'attributes': [
          { 'name' : 'disk_usage_info.partition_type', 'datatype' : 'string', 'index' : false },
          { 'name' : 'disk_usage_info.partition_name', 'datatype' : 'string', 'index' : false },
          { 'name' : 'disk_usage_info.partition_space_used_1k', 'datatype' : 'int', 'index' : false },
          { 'name' : 'disk_usage_info.partition_space_available_1k', 'datatype' : 'int', 'index' : false },
        ]
    },
    {
      'display_name' : 'Control-node Disk Usage Info',
      'stat_type' : 'NodeStatus'
      'stat_attr' : 'disk_usage_info',
      'obj_table' : BGP_ROUTER_TABLE,
      'attributes': [
          { 'name' : 'disk_usage_info.partition_type', 'datatype' : 'string', 'index' : false },
          { 'name' : 'disk_usage_info.partition_name', 'datatype' : 'string', 'index' : false },
          { 'name' : 'disk_usage_info.partition_space_used_1k', 'datatype' : 'int', 'index' : false },
          { 'name' : 'disk_usage_info.partition_space_available_1k', 'datatype' : 'int', 'index' : false },
        ]
    },
    {
      'display_name' : 'Vrouter Disk Usage Info',
      'stat_type' : 'NodeStatus'
      'stat_attr' : 'disk_usage_info',
      'obj_table' : VROUTER_TABLE,
      'attributes': [
          { 'name' : 'disk_usage_info.partition_type', 'datatype' : 'string', 'index' : false },
          { 'name' : 'disk_usage_info.partition_name', 'datatype' : 'string', 'index' : false },
          { 'name' : 'disk_usage_info.partition_space_used_1k', 'datatype' : 'int', 'index' : false },
          { 'name' : 'disk_usage_info.partition_space_available_1k', 'datatype' : 'int', 'index' : false },
        ]
    },
    {
      'display_name' : 'Virtual Machine Floating IP Statistics',
      'stat_type' : 'UveVMInterfaceAgent'
      'stat_attr' : 'fip_diff_stats',
      'obj_table' : VMI_TABLE,
      'attributes': [
          { 'name' : 'virtual_network', 'datatype' : 'string', 'index' : true },
          { 'name' : 'fip_diff_stats.other_vn', 'datatype' : 'string', 'index' : true },
          { 'name' : 'fip_diff_stats.ip_address', 'datatype' : 'string', 'index' : true },
          { 'name' : 'fip_diff_stats.in_pkts', 'datatype' : 'int', 'index' : false },
          { 'name' : 'fip_diff_stats.in_bytes', 'datatype' : 'int', 'index' : false },
          { 'name' : 'fip_diff_stats.out_pkts', 'datatype' : 'int', 'index' : false },
          { 'name' : 'fip_diff_stats.out_bytes', 'datatype' : 'int', 'index' : false }
        ]
    },
    {
      'display_name' : 'VMI ACL Rule Statistics',
      'stat_type' : 'UveVMInterfaceAgent',
      'stat_attr' : 'sg_rule_stats',
      'obj_table' : VMI_TABLE,
      'attributes': [
          { 'name' : 'sg_rule_stats.rule', 'datatype' : 'string', 'index' : true},
          { 'name' : 'sg_rule_stats.count', 'datatype' : 'int', 'index' : false},
        ]
    },
    {
      'display_name' : 'Virtual Machine Interface Statistics',
      'stat_type' : 'UveVMInterfaceAgent'
      'stat_attr' : 'if_stats',
      'obj_table' : VMI_TABLE,
      'attributes': [
          { 'name' : 'vm_name', 'datatype' : 'string', 'index' : true },
          { 'name' : 'vm_uuid', 'datatype' : 'string', 'index' : true },
          { 'name' : 'if_stats.in_pkts', 'datatype' : 'int', 'index' : false },
          { 'name' : 'if_stats.in_bytes', 'datatype' : 'int', 'index' : false },
          { 'name' : 'if_stats.out_pkts', 'datatype' : 'int', 'index' : false },
          { 'name' : 'if_stats.out_bytes', 'datatype' : 'int', 'index' : false },
          { 'name' : 'if_stats.in_bw_usage', 'datatype' : 'int', 'index' : false },
          { 'name' : 'if_stats.out_bw_usage', 'datatype' : 'int', 'index' : false }
        ]
    },
    {
      'display_name' : 'Vrouter Flow Setup Statistics',
      'stat_type' : 'VrouterStatsAgent'
      'stat_attr' : 'flow_rate',
      'obj_table' : VROUTER_TABLE,
      'attributes': [
          { 'name' : 'flow_rate.added_flows', 'datatype' : 'int', 'index' : false },
          { 'name' : 'flow_rate.max_flow_adds_per_second', 'datatype' : 'int', 'index' : false },
          { 'name' : 'flow_rate.min_flow_adds_per_second', 'datatype' : 'int', 'index' : false },
          { 'name' : 'flow_rate.deleted_flows', 'datatype' : 'int', 'index' : false },
          { 'name' : 'flow_rate.max_flow_deletes_per_second', 'datatype' : 'int', 'index' : false },
          { 'name' : 'flow_rate.min_flow_deletes_per_second', 'datatype' : 'int', 'index' : false },
          { 'name' : 'flow_rate.active_flows', 'datatype' : 'int', 'index' : false }
        ]
    },
    {
      'display_name' : 'Analytics API Statistics',
      'stat_type' : 'AnalyticsApiStats',
      'stat_attr' : 'api_stats',
      'obj_table' : 'NONE',
      'attributes' : [
          { 'name' : 'api_stats.operation_type', 'datatype' : 'string', 'index' : true },
          { 'name' : 'api_stats.remote_ip', 'datatype' : 'string', 'index' : true },
          { 'name' : 'api_stats.object_type', 'datatype' : 'string', 'index' : true },
          { 'name' : 'api_stats.request_url', 'datatype' : 'string', 'index' : false },
          { 'name' : 'api_stats.response_time_in_usec', 'datatype' : 'int', 'index' : false },
          { 'name' : 'api_stats.response_size', 'datatype' : 'int', 'index' : false },
          { 'name' : 'api_stats.node', 'datatype' : 'string', 'index' : false },
        ]
    },
    {
      'display_name' : 'Api Server Statistics',
      'stat_type' : 'VncApiStatsLog',
      'stat_attr' : 'api_stats',
      'obj_table' : CONFIG_OBJECT_TABLE,
      'attributes' : [
          { 'name' : 'api_stats.operation_type', 'datatype' : 'string', 'index' : true },
          { 'name' : 'api_stats.user', 'datatype' : 'string', 'index' : true },
          { 'name' : 'api_stats.useragent', 'datatype' : 'string', 'index' : true },
          { 'name' : 'api_stats.remote_ip', 'datatype' : 'string', 'index' : true },
          { 'name' : 'api_stats.domain_name', 'datatype' : 'string', 'index' : true },
          { 'name' : 'api_stats.project_name', 'datatype' : 'string', 'index' : true },
          { 'name' : 'api_stats.object_type', 'datatype' : 'string', 'index' : true },
          { 'name' : 'api_stats.response_time_in_usec', 'datatype' : 'double', 'index' : true },
          { 'name' : 'api_stats.response_size', 'datatype' : 'int', 'index' : true },
          { 'name' : 'api_stats.response_code', 'datatype' : 'int', 'index' : true }
        ]
    },
    {
      'display_name' : 'Vrouter Physical Interface bandwidth Statistics',
      'stat_type' : 'VrouterStatsAgent'
      'stat_attr' : 'phy_if_band',
      'obj_table' : VROUTER_TABLE,
      'attributes': [
          { 'name' : 'name', 'datatype' : 'string', 'index' : true },
          { 'name' : 'phy_if_band.name', 'datatype' : 'string', 'index' : true },
          { 'name' : 'phy_if_band.in_bandwidth_usage', 'datatype' : 'int', 'index' : false },
          { 'name' : 'phy_if_band.out_bandwidth_usage', 'datatype' : 'int', 'index' : false }
        ]
    },
    {
      'display_name' : 'Broadview ingress-port-priority-group',
      'stat_type' : 'PRouterBroadViewInfo',
      'stat_attr' : 'ingressPortPriorityGroup',
      'obj_table' : PROUTER_TABLE,
      'attributes': [
          { 'name' : 'name', 'datatype' : 'string','index' : true},
          { 'name' : 'asic_id', 'datatype' : 'string','index' : true},
          { 'name' : 'ingressPortPriorityGroup.port', 'datatype' : 'string','index' : true},
          { 'name' : 'ingressPortPriorityGroup.priorityGroup', 'datatype' : 'int','index' : true},
          { 'name' : 'ingressPortPriorityGroup.umShareBufferCount', 'datatype' : 'int','index' : false},
          { 'name' : 'ingressPortPriorityGroup.umHeadroomBufferCount', 'datatype' : 'int','index' : false},
        ]
    },
    {
      'display_name' : 'Broadview ingress-port-service-pool',
      'stat_type' : 'PRouterBroadViewInfo',
      'stat_attr' : 'ingressPortServicePool',
      'obj_table' : PROUTER_TABLE,
      'attributes': [
          { 'name' : 'name', 'datatype' : 'string','index' : true},
          { 'name' : 'asic_id', 'datatype' : 'string','index' : true},
          { 'name' : 'ingressPortServicePool.port', 'datatype' : 'string','index' : true},
          { 'name' : 'ingressPortServicePool.servicePool', 'datatype' : 'int','index' : true},
          { 'name' : 'ingressPortServicePool.umShareBufferCount', 'datatype' : 'int','index' : false},
        ]
    },
    {
      'display_name' : 'Broadview ingress-service-pool',
      'stat_type' : 'PRouterBroadViewInfo',
      'stat_attr' : 'ingressServicePool',
      'obj_table' : PROUTER_TABLE,
      'attributes': [
          { 'name' : 'name', 'datatype' : 'string','index' : true},
          { 'name' : 'asic_id', 'datatype' : 'string','index' : true},
          { 'name' : 'ingressServicePool.servicePool', 'datatype' : 'int','index' : true},
          { 'name' : 'ingressServicePool.umShareBufferCount', 'datatype' : 'int','index' : false},
        ]
    },
    {
      'display_name' : 'Broadview egress-port-service-pool',
      'stat_type' : 'PRouterBroadViewInfo',
      'stat_attr' : 'egressPortServicePool',
      'obj_table' : PROUTER_TABLE,
      'attributes': [
          { 'name' : 'name', 'datatype' : 'string','index' : true},
          { 'name' : 'asic_id', 'datatype' : 'string','index' : true},
          { 'name' : 'egressPortServicePool.port', 'datatype' : 'string','index' : true},
          { 'name' : 'egressPortServicePool.servicePool', 'datatype' : 'int','index' : true},
          { 'name' : 'egressPortServicePool.ucShareBufferCount', 'datatype' : 'int','index' : false},
          { 'name' : 'egressPortServicePool.umShareBufferCount', 'datatype' : 'int','index' : false},
          { 'name' : 'egressPortServicePool.mcShareBufferCount', 'datatype' : 'int','index' : false},
          { 'name' : 'egressPortServicePool.mcShareQueueEntries', 'datatype' : 'int','index' : false},
        ]
    },
    {
      'display_name' : 'Broadview egress-service-pool',
      'stat_type' : 'PRouterBroadViewInfo',
      'stat_attr' : 'egressServicePool',
      'obj_table' : PROUTER_TABLE,
      'attributes': [
          { 'name' : 'name', 'datatype' : 'string','index' : true},
          { 'name' : 'asic_id', 'datatype' : 'string','index' : true},
          { 'name' : 'egressServicePool.servicePool', 'datatype' : 'int','index' : true},
          { 'name' : 'egressServicePool.umShareBufferCount', 'datatype' : 'int','index' : false},
          { 'name' : 'egressServicePool.mcShareBufferCount', 'datatype' : 'int','index' : false},
          { 'name' : 'egressServicePool.mcShareQueueEntries', 'datatype' : 'int','index' : false},
        ]
    },
    {
      'display_name' : 'Broadview egress-uc-queue',
      'stat_type' : 'PRouterBroadViewInfo',
      'stat_attr' : 'egressUcQueue',
      'obj_table' : PROUTER_TABLE,
      'attributes': [
          { 'name' : 'name', 'datatype' : 'string','index' : true},
          { 'name' : 'asic_id', 'datatype' : 'string','index' : true},
          { 'name' : 'egressUcQueue.queue', 'datatype' : 'int','index' : true},
          { 'name' : 'egressUcQueue.ucBufferCount', 'datatype' : 'int','index' : false},
        ]
    },
    {
      'display_name' : 'Broadview egress-uc-queue-group',
      'stat_type' : 'PRouterBroadViewInfo',
      'stat_attr' : 'egressUcQueueGroup',
      'obj_table' : PROUTER_TABLE,
      'attributes': [
          { 'name' : 'name', 'datatype' : 'string','index' : true},
          { 'name' : 'asic_id', 'datatype' : 'string','index' : true},
          { 'name' : 'egressUcQueueGroup.queueGroup', 'datatype' : 'int','index' : true},
          { 'name' : 'egressUcQueueGroup.ucBufferCount', 'datatype' : 'int','index' : false},
        ]
    },
    {
      'display_name' : 'Broadview egress-mc-queue',
      'stat_type' : 'PRouterBroadViewInfo',
      'stat_attr' : 'egressMcQueue',
      'obj_table' : PROUTER_TABLE,
      'attributes': [
          { 'name' : 'name', 'datatype' : 'string','index' : true},
          { 'name' : 'asic_id', 'datatype' : 'string','index' : true},
          { 'name' : 'egressMcQueue.queue', 'datatype' : 'int','index' : true},
          { 'name' : 'egressMcQueue.mcBufferCount', 'datatype' : 'int','index' : false},
          { 'name' : 'egressMcQueue.mcQueueEntries', 'datatype' : 'int','index' : false},
        ]
    },
    {
      'display_name' : 'Broadview egress-cpu-queue',
      'stat_type' : 'PRouterBroadViewInfo',
      'stat_attr' : 'egressCpuQueue',
      'obj_table' : PROUTER_TABLE,
      'attributes': [
          { 'name' : 'name', 'datatype' : 'string','index' : true},
          { 'name' : 'asic_id', 'datatype' : 'string','index' : true},
          { 'name' : 'egressCpuQueue.queue', 'datatype' : 'int','index' : true},
          { 'name' : 'egressCpuQueue.cpuBufferCount', 'datatype' : 'int','index' : false},
        ]
    },
    {
      'display_name' : 'Broadview egress-rqe-queue',
      'stat_type' : 'PRouterBroadViewInfo',
      'stat_attr' : 'egressRqeQueue',
      'obj_table' : PROUTER_TABLE,
      'attributes': [
          { 'name' : 'name', 'datatype' : 'string','index' : true},
          { 'name' : 'asic_id', 'datatype' : 'string','index' : true},
          { 'name' : 'egressRqeQueue.queue', 'datatype' : 'int','index' : true},
          { 'name' : 'egressRqeQueue.rqeBufferCount', 'datatype' : 'int','index' : false},
        ]
    },
]

const list<query_table> _TABLES = [
    {
         'name' : COLLECTOR_GLOBAL_TABLE,
         'schema' : {
             'type' : 'LOG',
             'columns' :  [
               { 'name' : 'MessageTS', 'datatype' : 'int', 'index' : false},
               { 'name' : SOURCE, 'datatype' : 'string', 'index' : true },
               { 'name' : MODULE, 'datatype' : 'string', 'index' : true },
               { 'name' : 'Category', 'datatype' : 'string', 'index' : true },
               { 'name' : 'Level', 'datatype' : 'int', 'index' : true },
               { 'name' : 'Type', 'datatype' : 'int', 'index' : false },
               { 'name' : 'InstanceId', 'datatype' : 'string', 'index' : false },
               { 'name' : 'NodeType', 'datatype' : 'string', 'index' : false },
               { 'name' : 'Messagetype', 'datatype' : 'string', 'index' : true },
               { 'name' : 'SequenceNum', 'datatype' : 'int', 'index' : false },
               { 'name' : 'Context', 'datatype' : 'string', 'index' : false },
               { 'name' : 'Keyword', 'datatype' : 'string', 'index' : true },
               { 'name' : 'Xmlmessage', 'datatype' : 'string', 'index' : false },
               ]
              },
          'columnvalues' : [ MODULE, SOURCE, 'Category', 'Level' ],
    },
    {
         'name' : FLOW_TABLE,
         'schema' : {
             'type' : 'FLOW',
             'columns' :  [
               { 'name' : 'vrouter', 'datatype' : 'string', 'index' : true },
               { 'name' : 'sourcevn', 'datatype' : 'string', 'index' : true },
               { 'name' : 'sourceip', 'datatype' : 'ipaddr', 'index' : true },
               { 'name' : 'destvn', 'datatype' : 'string', 'index' : true },
               { 'name' : 'destip', 'datatype' : 'ipaddr', 'index' : true },
               { 'name' : 'protocol', 'datatype' : 'int', 'index' : true },
               { 'name' : 'sport', 'datatype' : 'int', 'index' : true },
               { 'name' : 'dport', 'datatype' : 'int', 'index' : true },
               { 'name' : 'direction_ing', 'datatype' : 'int', 'index' : true },
               { 'name' : FLOW_TABLE_UUID, 'datatype' : 'uuid', 'index' : false },
               { 'name' : 'setup_time', 'datatype' : 'long', 'index' : false },
               { 'name' : 'teardown_time', 'datatype' : 'long', 'index' : false },
               { 'name' : FLOW_TABLE_AGG_PKTS, 'datatype' : 'long', 'index' : false },
               { 'name' : FLOW_TABLE_AGG_BYTES, 'datatype' : 'long', 'index' : false },
               { 'name' : 'action', 'datatype' : 'string', 'index' : false },
               { 'name' : 'sg_rule_uuid', 'datatype' : 'uuid', 'index' : false },
               { 'name' : 'nw_ace_uuid', 'datatype' : 'uuid', 'index' : false },
               { 'name' : 'vrouter_ip', 'datatype' : 'string', 'index' : false },
               { 'name' : 'other_vrouter_ip', 'datatype' : 'string', 'index' : false },
               { 'name' : 'underlay_proto', 'datatype' : 'int', 'index' : false },
               { 'name' : 'underlay_source_port', 'datatype' : 'int', 'index' : false },
               { 'name' : 'vmi_uuid', 'datatype' : 'uuid', 'index' : false },
               { 'name' : 'drop_reason', 'datatype' : 'string', 'index' : false },
               ]
         },
         'columnvalues' : [ ],
    },
    {
         'name' : 'FlowSeriesTable',
         'schema' : {
             'type' : 'FLOW',
             'columns' :  [
               { 'name' : 'vrouter', 'datatype' : 'string', 'index' : true },
               { 'name' : 'sourcevn', 'datatype' : 'string', 'index' : true },
               { 'name' : 'sourceip', 'datatype' : 'ipaddr', 'index' : true },
               { 'name' : 'destvn', 'datatype' : 'string', 'index' : true },
               { 'name' : 'destip', 'datatype' : 'ipaddr', 'index' : true },
               { 'name' : 'protocol', 'datatype' : 'int', 'index' : true },
               { 'name' : 'sport', 'datatype' : 'int', 'index' : true },
               { 'name' : 'dport', 'datatype' : 'int', 'index' : true },
               { 'name' : 'direction_ing', 'datatype' : 'int', 'index' : true },
               { 'name' : 'flow_class_id', 'datatype' : 'int', 'index' : false },
               { 'name' : 'T', 'datatype' : 'int', 'index' : false },
               { 'name' : 'T=', 'datatype' : 'int', 'index' : false },
               { 'name' : 'packets', 'datatype' : 'int', 'index' : false },
               { 'name' : 'bytes', 'datatype' : 'int', 'index' : false },
               { 'name' : 'sum(packets)', 'datatype' : 'int', 'index' : false },
               { 'name' : 'sum(bytes)', 'datatype' : 'int', 'index' : false },
               { 'name' : 'flow_count', 'datatype' : 'int', 'index' : false },
               ]
         },
         'columnvalues' : [ ],
    },
    {
        'name' : OVERLAY_TO_UNDERLAY_FLOW_MAP,
        'schema' : {
            'type' : 'FLOW',
            'columns' : [
              { 'name' : O_SVN, 'datatype' : 'string', 'index' : true, 'select' : false, 'suffixes' : [ O_SIP ] },
              { 'name' : O_SIP, 'datatype' : 'string', 'index' : false, 'select' : false },
              { 'name' : O_DVN, 'datatype' : 'string', 'index' : true, 'select' : false, 'suffixes' : [ O_DIP ] },
              { 'name' : O_DIP, 'datatype' : 'string', 'index' : false, 'select' : false },
              { 'name' : O_SPORT, 'datatype' : 'int', 'index' : false, 'select' : false },
              { 'name' : O_DPORT, 'datatype' : 'int', 'index' : false, 'select' : false },
              { 'name' : O_PROTOCOL, 'datatype' : 'int', 'index' : true, 'select' : false, 'suffixes' : [ O_SPORT, O_DPORT ] },
              { 'name' : O_VROUTER, 'datatype' : 'string', 'index' : true, 'select' : false },
              { 'name' : U_PROUTER, 'datatype' : 'string', 'index' : false },
              { 'name' : U_PIFINDEX, 'datatype' : 'int', 'index' : false },
              { 'name' : U_VLAN, 'datatype' : 'int', 'index' : false },
              { 'name' : U_SIP, 'datatype' : 'string', 'index' : false },
              { 'name' : U_DIP, 'datatype' : 'string', 'index' : false },
              { 'name' : U_SPORT, 'datatype' : 'int', 'index' : false },
              { 'name' : U_DPORT, 'datatype' : 'int', 'index' : false },
              { 'name' : U_PROTOCOL, 'datatype' : 'int', 'index' : false },
              { 'name' : U_FLOWTYPE, 'datatype' : 'string', 'index' : false },
              { 'name' : U_OTHERINFO, 'datatype' : 'string', 'index' : false },
              ]
        },
        'columnvalues' : [ ],
    },
]

// all object tables have the same schema and same query-able columns
// as below
const query_schema_type _OBJECT_TABLE_SCHEMA =
        {
             'type' : 'OBJECT',
             'columns' :  [
               { 'name' : 'MessageTS', 'datatype' : 'int', 'index' : false },
               { 'name' : 'ObjectId', 'datatype' : 'string', 'index' : true },
               { 'name' : SOURCE, 'datatype' : 'string', 'index' : true },
               { 'name' : MODULE, 'datatype' : 'string', 'index' : true },
               { 'name' : 'Messagetype', 'datatype' : 'string', 'index' : true },
               { 'name' : 'ObjectLog', 'datatype' : 'string', 'index' : false },
               { 'name' : 'SystemLog', 'datatype' : 'string', 'index' : false },
               ]
        }
const list<string> _OBJECT_TABLE_COLUMN_VALUES = [ MODULE, SOURCE, 'Category', 'Level' ]