* feat: add "Jira" document loader (#4247) * chore: Remove console.log * Update Jira.ts --------- Co-authored-by: Henry Heng <henryheng@flowiseai.com>
This commit is contained in:
Shibin Das
GitHub
parent
a7b4ae733f
commit
9d9135bed5
|
|
@ -0,0 +1,33 @@
|
||||||
|
import { INodeParams, INodeCredential } from '../src/Interface'
|
||||||
|
|
||||||
|
class JiraApi implements INodeCredential {
|
||||||
|
label: string
|
||||||
|
name: string
|
||||||
|
version: number
|
||||||
|
description: string
|
||||||
|
inputs: INodeParams[]
|
||||||
|
|
||||||
|
constructor() {
|
||||||
|
this.label = 'Jira API'
|
||||||
|
this.name = 'jiraApi'
|
||||||
|
this.version = 1.0
|
||||||
|
this.description =
|
||||||
|
'Refer to <a target="_blank" href="https://support.atlassian.com/atlassian-account/docs/manage-api-tokens-for-your-atlassian-account/">official guide</a> on how to get accessToken on Github'
|
||||||
|
this.inputs = [
|
||||||
|
{
|
||||||
|
label: 'User Name',
|
||||||
|
name: 'username',
|
||||||
|
type: 'string',
|
||||||
|
placeholder: 'username@example.com'
|
||||||
|
},
|
||||||
|
{
|
||||||
|
label: 'Access Token',
|
||||||
|
name: 'accessToken',
|
||||||
|
type: 'password',
|
||||||
|
placeholder: '<JIRA_ACCESS_TOKEN>'
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
module.exports = { credClass: JiraApi }
|
||||||
|
|
@ -0,0 +1,194 @@
|
||||||
|
import { omit } from 'lodash'
|
||||||
|
import { ICommonObject, IDocument, INode, INodeData, INodeParams } from '../../../src/Interface'
|
||||||
|
import { TextSplitter } from 'langchain/text_splitter'
|
||||||
|
import { JiraProjectLoaderParams, JiraProjectLoader } from '@langchain/community/document_loaders/web/jira'
|
||||||
|
import { getCredentialData, getCredentialParam, handleEscapeCharacters, INodeOutputsValue } from '../../../src'
|
||||||
|
|
||||||
|
class Jira_DocumentLoaders implements INode {
|
||||||
|
label: string
|
||||||
|
name: string
|
||||||
|
version: number
|
||||||
|
description: string
|
||||||
|
type: string
|
||||||
|
icon: string
|
||||||
|
category: string
|
||||||
|
baseClasses: string[]
|
||||||
|
credential: INodeParams
|
||||||
|
inputs: INodeParams[]
|
||||||
|
outputs: INodeOutputsValue[]
|
||||||
|
|
||||||
|
constructor() {
|
||||||
|
this.label = 'Jira'
|
||||||
|
this.name = 'jira'
|
||||||
|
this.version = 1.0
|
||||||
|
this.type = 'Document'
|
||||||
|
this.icon = 'jira.svg'
|
||||||
|
this.category = 'Document Loaders'
|
||||||
|
this.description = `Load issues from Jira`
|
||||||
|
this.baseClasses = [this.type]
|
||||||
|
this.credential = {
|
||||||
|
label: 'Connect Credential',
|
||||||
|
name: 'credential',
|
||||||
|
type: 'credential',
|
||||||
|
description: 'Jira API Credential',
|
||||||
|
credentialNames: ['jiraApi']
|
||||||
|
}
|
||||||
|
this.inputs = [
|
||||||
|
{
|
||||||
|
label: 'Host',
|
||||||
|
name: 'host',
|
||||||
|
type: 'string',
|
||||||
|
placeholder: 'https://jira.example.com'
|
||||||
|
},
|
||||||
|
{
|
||||||
|
label: 'Project Key',
|
||||||
|
name: 'projectKey',
|
||||||
|
type: 'string',
|
||||||
|
default: 'main'
|
||||||
|
},
|
||||||
|
{
|
||||||
|
label: 'Limit per request',
|
||||||
|
name: 'limitPerRequest',
|
||||||
|
type: 'number',
|
||||||
|
step: 1,
|
||||||
|
optional: true,
|
||||||
|
placeholder: '100'
|
||||||
|
},
|
||||||
|
{
|
||||||
|
label: 'Created after',
|
||||||
|
name: 'createdAfter',
|
||||||
|
type: 'string',
|
||||||
|
optional: true,
|
||||||
|
placeholder: '2024-01-01'
|
||||||
|
},
|
||||||
|
{
|
||||||
|
label: 'Text Splitter',
|
||||||
|
name: 'textSplitter',
|
||||||
|
type: 'TextSplitter',
|
||||||
|
optional: true
|
||||||
|
},
|
||||||
|
{
|
||||||
|
label: 'Additional Metadata',
|
||||||
|
name: 'metadata',
|
||||||
|
type: 'json',
|
||||||
|
description: 'Additional metadata to be added to the extracted documents',
|
||||||
|
optional: true,
|
||||||
|
additionalParams: true
|
||||||
|
},
|
||||||
|
{
|
||||||
|
label: 'Omit Metadata Keys',
|
||||||
|
name: 'omitMetadataKeys',
|
||||||
|
type: 'string',
|
||||||
|
rows: 4,
|
||||||
|
description:
|
||||||
|
'Each document loader comes with a default set of metadata keys that are extracted from the document. You can use this field to omit some of the default metadata keys. The value should be a list of keys, seperated by comma. Use * to omit all metadata keys execept the ones you specify in the Additional Metadata field',
|
||||||
|
placeholder: 'key1, key2, key3.nestedKey1',
|
||||||
|
optional: true,
|
||||||
|
additionalParams: true
|
||||||
|
}
|
||||||
|
]
|
||||||
|
this.outputs = [
|
||||||
|
{
|
||||||
|
label: 'Document',
|
||||||
|
name: 'document',
|
||||||
|
description: 'Array of document objects containing metadata and pageContent',
|
||||||
|
baseClasses: [...this.baseClasses, 'json']
|
||||||
|
},
|
||||||
|
{
|
||||||
|
label: 'Text',
|
||||||
|
name: 'text',
|
||||||
|
description: 'Concatenated string from pageContent of documents',
|
||||||
|
baseClasses: ['string', 'json']
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
|
||||||
|
async init(nodeData: INodeData, _: string, options: ICommonObject): Promise<any> {
|
||||||
|
const host = nodeData.inputs?.host as string
|
||||||
|
const projectKey = nodeData.inputs?.projectKey as string
|
||||||
|
const limitPerRequest = nodeData.inputs?.limitPerRequest as string
|
||||||
|
const createdAfter = nodeData.inputs?.createdAfter as string
|
||||||
|
const textSplitter = nodeData.inputs?.textSplitter as TextSplitter
|
||||||
|
const metadata = nodeData.inputs?.metadata
|
||||||
|
const _omitMetadataKeys = nodeData.inputs?.omitMetadataKeys as string
|
||||||
|
const output = nodeData.outputs?.output as string
|
||||||
|
|
||||||
|
let omitMetadataKeys: string[] = []
|
||||||
|
if (_omitMetadataKeys) {
|
||||||
|
omitMetadataKeys = _omitMetadataKeys.split(',').map((key) => key.trim())
|
||||||
|
}
|
||||||
|
|
||||||
|
const credentialData = await getCredentialData(nodeData.credential ?? '', options)
|
||||||
|
const username = getCredentialParam('username', credentialData, nodeData)
|
||||||
|
const accessToken = getCredentialParam('accessToken', credentialData, nodeData)
|
||||||
|
|
||||||
|
const jiraOptions: JiraProjectLoaderParams = {
|
||||||
|
projectKey,
|
||||||
|
host,
|
||||||
|
username,
|
||||||
|
accessToken
|
||||||
|
}
|
||||||
|
|
||||||
|
if (limitPerRequest) {
|
||||||
|
jiraOptions.limitPerRequest = parseInt(limitPerRequest)
|
||||||
|
}
|
||||||
|
|
||||||
|
if (createdAfter) {
|
||||||
|
jiraOptions.createdAfter = new Date(createdAfter)
|
||||||
|
}
|
||||||
|
|
||||||
|
const loader = new JiraProjectLoader(jiraOptions)
|
||||||
|
let docs: IDocument[] = []
|
||||||
|
|
||||||
|
if (textSplitter) {
|
||||||
|
docs = await loader.load()
|
||||||
|
docs = await textSplitter.splitDocuments(docs)
|
||||||
|
} else {
|
||||||
|
docs = await loader.load()
|
||||||
|
}
|
||||||
|
|
||||||
|
if (metadata) {
|
||||||
|
const parsedMetadata = typeof metadata === 'object' ? metadata : JSON.parse(metadata)
|
||||||
|
docs = docs.map((doc) => ({
|
||||||
|
...doc,
|
||||||
|
metadata:
|
||||||
|
_omitMetadataKeys === '*'
|
||||||
|
? {
|
||||||
|
...parsedMetadata
|
||||||
|
}
|
||||||
|
: omit(
|
||||||
|
{
|
||||||
|
...doc.metadata,
|
||||||
|
...parsedMetadata
|
||||||
|
},
|
||||||
|
omitMetadataKeys
|
||||||
|
)
|
||||||
|
}))
|
||||||
|
} else {
|
||||||
|
docs = docs.map((doc) => ({
|
||||||
|
...doc,
|
||||||
|
metadata:
|
||||||
|
_omitMetadataKeys === '*'
|
||||||
|
? {}
|
||||||
|
: omit(
|
||||||
|
{
|
||||||
|
...doc.metadata
|
||||||
|
},
|
||||||
|
omitMetadataKeys
|
||||||
|
)
|
||||||
|
}))
|
||||||
|
}
|
||||||
|
|
||||||
|
if (output === 'document') {
|
||||||
|
return docs
|
||||||
|
} else {
|
||||||
|
let finaltext = ''
|
||||||
|
for (const doc of docs) {
|
||||||
|
finaltext += `${doc.pageContent}\n`
|
||||||
|
}
|
||||||
|
return handleEscapeCharacters(finaltext, false)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
module.exports = { nodeClass: Jira_DocumentLoaders }
|
||||||
|
|
@ -0,0 +1,2 @@
|
||||||
|
<?xml version="1.0" encoding="utf-8"?><!-- Uploaded to: SVG Repo, www.svgrepo.com, Generator: SVG Repo Mixer Tools -->
|
||||||
|
<svg width="800px" height="800px" viewBox="0 0 48 48" xmlns="http://www.w3.org/2000/svg"><defs><style>.a{fill:none;stroke:#000000;stroke-linecap:round;stroke-linejoin:round;}</style></defs><path class="a" d="M5.5,22.9722h0a8.7361,8.7361,0,0,0,8.7361,8.7361h2.0556v2.0556A8.7361,8.7361,0,0,0,25.0278,42.5h0V22.9722Z"/><path class="a" d="M14.2361,14.2361h0a8.7361,8.7361,0,0,0,8.7361,8.7361h2.0556v2.0556a8.7361,8.7361,0,0,0,8.7361,8.7361h0V14.2361Z"/><path class="a" d="M22.9722,5.5h0a8.7361,8.7361,0,0,0,8.7361,8.7361h2.0556v2.0556A8.7361,8.7361,0,0,0,42.5,25.0278h0V5.5Z"/></svg>
|
||||||
|
After Width: | Height: | Size: 700 B |
Loading…
Reference in New Issue