3.1. Criação de Conjuntos de Dados

Escolha dos conjuntos de dados

Arquivos de dados abertos não são relatórios. Apesar dessas duas saídas poderem ter origem nos mesmos dados, os objetivos são bem diferentes. Enquanto os relatórios são sumarizações com objetivos gerenciais, os dados abertos servem à transparência do órgão publicador.

Os dados abertos devem estar em sua forma primária, ou seja, com pouco ou nenhum processamento com relação àquele constante na base de dados. Dados muito processados, agregados e de alto nível não permitem muito processamento e análise pela sociedade, visto que já foram trabalhados e já apresentam a visão que se quis dar a eles. Em contrapartida, dados mais brutos podem ser cruzados de formas imprevistas e mais conhecimento pode ser gerado. Se houver regras de negócio na produção dos arquivos de dados abertos, isto é um indicativo de que pode haver alguma inadequação no processo de abertura de dados.

Formato dos arquivos de dados abertos

Arquivos de dados abertos são feitos principalmente para serem analisados por máquinas, na forma de sistemas específicos ou de planilhas.

O formato CSV é o formato mais acessível tanto para aplicativos livres ou particulares. Apesar de ser um arquivo tipo texto, este formato é muito utilizado trocar dados de uma planilha entre aplicativos. Consultas ao sistema Tesouro Gerencial, por exemplo, podem ser salvas em arquivos formato CSV. O Excel permite a conversão de seus arquivos em formato CSV. Porém, o Editor deverá adaptar o seu arquivo Excel antes da conversão.

Cuidado, no arquivo de dados abertos não devem ser incluídas informações com significado somente interno, tais como a chave primária da tabela, um código interno de classificação etc.

Atenção!

Os relatórios postados no site da STN devem ter total correspondência com os arquivos de dados disponibilizados no Portal Tesouro Transparente. Assim, o Editor deve estar atento às publicações e atualizações de relatórios e dados que ocorrem no site da STN para promover a correspondente alteração dos conjuntos de dados do Portal Tesouro Transparente.

Parâmetros para a elaboração dos arquivos em formato CSV

Lembre-se que sempre que é muito mais fácil adaptar primeiramente o seu arquivo em formato Excel, e depois salvá-lo em formato CSV do que o contrário. No entanto, não se deve deixar de usar as funcionalidades do arquivo Excel. A conversão de arquivo Excel em arquivo CSV deve ser uma nova rotina acrescentada ao processo de abertura de dados de cada conjunto de dados.

• O nome das colunas deve conter apenas a sua identificação, sem trechos de descrição de formato, conteúdo, etc. Estes últimos devem constar no arquivo PDF “Metadados” (ver Anexo I).
• Não há necessidade de fazer transformações nos valores das colunas como, por exemplo, quando o valor é dividido por 1000 para facilitar a leitura em relatório impresso. Este recurso não faz sentido no contexto de dados abertos. Neste caso, o dado deve vir na forma original.
• Sempre que possível é melhor buscar a série histórica dos dados desde suas origens para permitir ao usuário dos dados abertos maiores possibilidades de análises.
• É muito interessante falar do domínio dos campos para o usuário final dos dados abertos. Um exemplo é a coluna “Poder”, que pode ser Executivo, Legislativo e Judiciário.
• Quando possível, é melhor agrupar várias saídas em um único arquivo de dados mais completo. Por exemplo, criando apenas um CSV para vários meses ou anos dos dados a serem disponibilizados, ou com mais requisitos. Em suma, integrar as bases sempre facilita a utilização por parte dos usuários.
• Campos vazios não deixam muito claro o seu significado. É melhor ter uma indicação explícita, como por exemplo, preencher com zero para valores numéricos nulos, quando for o caso. No caso de valores não numéricos e/ou que não se apliquem ao caso, é possível indicar que o preenchimento do campo não é aplicável para aquele registro.
• Não faz sentido ter linhas de totais ou de subtotais em arquivos de dados abertos. Os arquivos existem para que os dados brutos sejam relacionados automaticamente pelos recursos dos usuários. Ou seja, uma linha de “totais” será interpretada como mais uma linha. Basta apagar os totais e deixar apenas os registros factuais (os dados brutos).
• No caso de arquivos CSV, não há sentido em ter colunas com o indicador de sinal (-) textualmente no nome. Os dados devem ser numericamente negativos, se for o caso.

Atenção!

Com o objetivo de gerenciar o Portal Tesouro Transparente, TODAS as inclusões e/ou exclusões de Conjuntos de Informações devem ser informadas ao NUINF/CODIN através do e-mail: This email address is being protected from spambots. You need JavaScript enabled to view it.. Apenas com essa informação se procederá inclusão do referido conjunto de dado no sistema Fale Conosco, fará a associação de usuários em todos os sistemas, avaliará a qualidade dos metadados e verificará a questão das etiquetas, por exemplo.