중소기업 맞춤형 ESG 컨설팅을 위한 LLM 기반 Agentic AI 프레임워크

Abstract

ESG（Environmental, Social, and Governance） management has become a baseline requirement across global supply chains. The European Union's Corporate Sustainability Reporting Directive, which took effect in 2024, together with the disclosure standards issued by the International Sustainability Standards Board, has extended reporting obligations to the smaller suppliers embedded within these chains. Korean small and medium sized enterprises in particular face structural barriers of cost and limited in-house expertise, while conventional professional consulting remains costly and time consuming. To lower these barriers without sacrificing expert level quality, this study designs, implements, and validates an agentic artificial intelligence method for customized ESG consulting tailored to smaller firms, in which multiple language model driven agents collaborate within a structured pipeline. The Agentic AI framework organizes the consulting process into five stages（Perceive, Reason, Plan, Act, and Learn） configured not as a linear sequence but as a closed feedback loop, in which each stage passes structured context to the next and informs earlier stages as needed. A higher-level orchestrator coordinates the flow from self assessment input through grade prediction and customized consulting to expert validation. The first three stages, spanning self assessment to consulting generation, define the implementation and validation scope, while the expert validation stage is presented as a proof of concept. The Agentic AI framework is realized through three collaborating agents. The first agent predicts an ESG grade, mapping self-assessment responses to one of three classes through a gradient boosting classifier and returning the predicted grade, its class probability distribution, and explanations of vulnerable areas based on Shapley values. The second agent generates consulting content: taking the diagnosis as context, it draws on two complementary channels retrieval augmented generation and a knowledge graph to link relevant regulations, certifications, and best practices, and produces three deliverables, namely a diagnostic summary, a customized consulting report, and an evidence-form guide. The third agent validates these outputs within a human in the loop structure, in which fifteen experts independently rate them across the five quality dimensions of the proposed evaluation framework, producing dimension level scores, measures of inter rater agreement, and structured feedback that returns to the preceding agents. The three agents function not as independent modules but as a single organic pipeline. This framework was implemented as a fully working, installation free online service that brings together the three agents, the orchestrator, the dual retrieval channels, and a web based self assessment interface, operating end to end from self assessment to output generation. The system was validated on a sample of 299 unlisted small and medium-sized enterprises through a crossed design of context conditions and models. It predicted ESG grades with an accuracy of 0.8631. This demonstrates that an externally assessed grade can be inferred from self-reported data alone. Combining retrieval-augmented generation with the knowledge graph yielded a peak consulting-quality score of 8.52, confirming the value of context enrichment. Beyond this expert quality assessment, a separate satisfaction survey of twelve small and medium sized enterprises that used the service reported an average overall satisfaction of 4.25 on a five point scale, with 83.3 percent expressing satisfaction, and an average adoption intention of 4.08, confirming the practical acceptability of the deliverables from the standpoint of end users. The study makes three contributions. It shows empirically that ESG grades for unlisted smaller firms can be predicted from self assessment data alone; it integrates ESG self assessment and automated consulting into a single multi agent pipeline; and it proposes and validates both a five dimension quality evaluation framework and the ESG Bridge Tool concept. By delivering expert level consulting as a low cost online service and using human in the loop evaluation to separate tasks suited to automation from those requiring expert judgment, the study offers a practical basis for real world deployment. Future work includes the full implementation of Stages 4 and 5 and the extension toward a self-improving structure through longitudinal observation.|ESG（환경·사회·지배구조） 경영은 글로벌 공급망의 필수 요건으로 자리매김하였으며, 2024년부터 시행 중인 EU 기업 지속가능성 보고 지침과 국제지속가능성기준위원회 공시 기준은 대기업뿐 아니라 공급망에 포함된 중소기업에도 ESG 정보 공개 압력을 확대하고 있다. 그러나 국내 중소기업의 ESG 경영은 비용과 전문 인력 부담이라는 구조적 장벽에 직면해 있으며, 전문 ESG 컨설팅은 표준 절차상 상당한 비용과 시간을 요구한다. 본 연구는 이러한 비용·시간 장벽을 해소하면서도 전문가 수준의 ESG 컨설팅 품질을 달성하기 위해, 복수의 AI Agent가 체계적으로 협업하는 Agentic AI 기반 중소기업 ESG 맞춤형 LLM 컨설팅 시스템을 설계·구현·검증하였다. 본 연구의 방법론적 구조는 중소기업 ESG 컨설팅의 전체 과정을 인식（Perceive）, 추론（Reason）, 계획（Plan）, 실행（Act）, 학습（Learn）의 5단계로 구조화한 Agentic AI 프레임워크이다. 이 프레임워크는 단순한 순차 처리가 아니라, 각 단계가 다음 단계의 입력 맥락을 구조적으로 제공하고 필요 시 이전 단계로 피드백을 환류하는 폐루프（closed-loop）로 작동한다는 점에 핵심이 있다. 상위 오케스트레이터（Orchestrator）가 각 단계를 조율하여 자가진단 입력에서 등급 예측, 맞춤형 컨설팅 생성, 전문가 검증으로 이어지는 흐름을 하나의 파이프라인으로 통합하며, 본 연구는 이 가운데 자가진단 입력부터 컨설팅 생성까지의 Stage 1~3을 구현·검증 범위로, 전문가 검증에 해당하는 Stage 4를 개념 실증 범위로 설정하였다. Agentic AI 프레임워크는 상위 오케스트레이터의 조율 아래 세 개의 협력 Agent로 구체화된다. ESG 등급 예측 Agent는 중소기업의 자가진단 응답을 입력받아 Gradient Boosting 기반 3클래스 분류 모델로 처리하여, 예측 등급, 클래스별 확률분포, SHAP 기반 취약 영역 설명의 다차원 정보를 출력한다. LLM 기반 ESG 컨설팅 Agent는 이 진단 결과를 입력 맥락으로 받아 RAG（검색증강생성）와 지식그래프（KG）의 듀얼 채널로 관련 법규, 인증, 모범사례를 검색·연결하여 맥락을 강화하고, 진단결과 요약, 맞춤형 컨설팅 보고서, 증빙 서식 가이드의 세 가지 맞춤형 산출물을 생성한다. 전문가 검증 Agent는 생성된 산출물을 입력으로 받아 EIEC（ESG Improvement Execution Contribution） 5차원 품질 프레임워크에 따라 전문가가 독립적으로 평가하는 HITL（Human in the Loop） 구조로 처리하며, 차원별 품질 점수, 평가자 간 일치도, 강점 및 우려를 출력하여 앞선 두 Agent의 개선 근거로 환류한다. 세 Agent는 독립 모듈의 단순 결합이 아니라, 예측 결과가 컨설팅의 입력으로, 컨설팅 산출물이 다시 검증의 대상으로 전달되는 하나의 유기적 파이프라인으로 연결된다. 이상의 시스템 아키텍처는 실제 동작하는 시스템으로 구현되었다. 본 연구는 세 협력 Agent와 상위 오케스트레이터, RAG와 KG의 듀얼 채널, 그리고 자가진단 웹 인터페이스를 하나로 통합하여, 기업 담당자의 자가진단 응답 입력에서 등급 예측, 맥락 강화, 맞춤형 산출물 생성에 이르는 전 과정을 별도의 설치 없이 사용할 수 있는 단일 온라인 서비스（플랫폼）로 구현하였다. 이를 통해 개념적 설계가 자가진단 입력부터 컨설팅 산출물까지 작동하는 실증 가능한 시스템으로 구체화되었다. 이렇게 구현한 시스템을 비상장 중소기업 299개사를 대상으로 맥락 조건과 모델의 교차 설계로 실증한 결과, 자가진단 자기보고 응답에 파생 정량신호를 결합한 조건에서 ESG 등급 예측 정확도（Accuracy） 0.8631을 달성하여 자가진단 데이터만으로 ESG 평가 등급을 예측할 수 있음을 확인하였고, RAG와 KG를 결합한 맥락 강화 조건에서 컨설팅 품질 총점 8.52점으로 최고 품질을 달성하여 맥락 강화의 효과를 검증하였다. 이 밖에 토큰 효율성에 기반한 이원적 배포 전략, 산업적합성의 업종 간 차이, AI 재현성의 일관성도 함께 확인하였다. 나아가 산출물을 실제로 사용하는 수요기업을 대상으로 한 만족도 검증에서 전반적 만족도는 5점 척도 평균 4.25점（만족 이상 83.3%）, 도입 의향은 평균 4.08점으로 나타나, 전문가 품질 검증과는 별개로 실무 수용성 측면에서도 산출물의 활용 가능성이 확인되었다. 본 연구는 비상장 중소기업의 자가진단 데이터만으로 ESG 평가 등급 수준으로 예측이 가능함을 실증하고, ESG 자가진단과 AI 컨설팅을 단일 Agentic AI에서 멀티 Agent 파이프라인으로 통합하면서 EIEC 5차원 품질평가 프레임워크와 ESG 브릿지 도구（ESG Bridge Tool） 개념을 제안·검증하였다. 또한 이를 전문가 수준의 컨설팅을 저비용·단시간에 제공하는 온라인 서비스로 구현하고, HITL 평가를 통해 AI 자동화가 적절한 영역과 전문가 개입이 필요한 영역을 구분하여 실무 배포의 근거를 제시하였다. 향후 Stage 4·5의 본격 구현과 종단적 관측을 통한 자율적 개선 구조로의 확장이 후속 과제로 남는다.